Anthropic sa at kunstig intelligens går så raskt frem at det er nødvendig med en pause i hele bransjen for å bremse utviklingen mens bedrifter får tak i potensielle samfunnsrisikoer.
AI juggernaut publiserte et blogginnlegg torsdag som advarte om at AI-systemer snart kan forbedre seg uten menneskelig innblanding, noe som resulterer i kaos.
Kritikere og rivaler har tidligere gitt lignende uttalelser fra Anthropic – som detroniserte OpenAI som det mest verdifulle AI-selskapet forrige måned – som en del av et forsøk på å hinke konkurransen i det rødglødende kappløpet om å utvikle avansert kunstig intelligens.
Anthropic har lenge advart om at kraften til modellene deres kan utgjøre en risiko for menneskeheten. Anthropics administrerende direktør Dario Amodei kranglet i månedsvis med Det hvite hus om AI-sikkerhet knyttet til bruken av systemene i militære applikasjoner.
Anthropic oppfordret de beste AI-laboratoriene til å veie å senke utviklingstempoet og tilbød interne data som viste den raske forbedringen av sine egne modeller.
«Vi tror det ville være bra for verden å ha muligheten til å bremse eller midlertidig stoppe grense-AI-utvikling for å gjøre det mulig for samfunnsstrukturer og tilpasningsforskning å holde tritt med teknologiens fremskritt,» heter det i innlegget.
Det ble skrevet av Anthropics leder for internforskning Marina Favaro og leder for politikk Jack Clark.
Evnen til å bremse global AI-utvikling vil «sannsynligvis være en god ting,» la de til.
OpenAI-sjef Sam Altman har tidligere anklaget Anthropic for å drive «fryktbasert markedsføring».
«Det er helt klart utrolig markedsføring å si, ‘Vi har bygget en bombe, vi er i ferd med å slippe den på hodet. Vi vil selge deg et bombeskjul for $100 millioner,'» sa han forrige måned.
Anthropics innlegg skisserte hvordan modellfremskritt ser ut til å bevege seg mot «rekursiv selvforbedring,» eller AI-systemer som kan forbedre seg på egen hånd uten menneskelig innblanding. AI-eksperter har advart om at fenomenet kan ødelegge samfunnet.
«Dette ville revolusjonere kunnskapsarbeid og offentlige tjenester, men kan også snus til skadelige mål, fra autoritær overvåking av hele befolkninger til å påvirke operasjoner som skreddersyr manipulasjon til hver enkelt og kjører i en skala ingen menneskelig team kan matche,» heter det i innlegget.
Den erkjente at selvforbedrende AI ikke har skjedd ennå, og ikke er uunngåelig.
Anthropics verdsettelse nådde hele 965 milliarder dollar i sin finansieringsrunde på 65 milliarder dollar i serie H forrige måned. Firmaet hadde lenge blitt sett på som en oppkomling som forsøkte å ta igjen OpenAIs tidlige dominans på feltet.
Anthropics torsdagsinnlegg gikk så langt som å foreslå en global avtale for nedgangen og hvordan man kan bekrefte overholdelse av den.
Noen har kritisert laboratoriets mange advarsler om faren dets egne verktøy kan utgjøre som en markedsføringstaktikk.
University of Pennsylvanias Wharton School-professor Ethan Mollick skrev på X: «Det er litt navlebeskuelse, noe markedsføring og mye oppriktig tro på hva Anthropic tror er sannsynlig i nær fremtid for AI.»
Anthropics ledere har insistert på at de setter AI-sikkerhet foran vekst og ønsker å legge til rette for mer diskusjon om risiko.
En online kritiker tok en politisk vinkling på laboratoriets innlegg, og skrev på X: «De prøver å ta en pause til en demokrat kommer tilbake i Det hvite hus.»
