Det var en agent for kaos.
Et AI-systems forsøk på å håndtere en rutineoppgave slo fryktelig tilbake etter at det utilsiktet slettet hele selskapets database på bare sekunder.
Den episke tabben kom til syne via et langt X-innlegg av Jer Crane, grunnlegger av det berørte firmaet, en programvareoppstart kalt PocketOS.
Inkludert var en tilståelse fra den grusomme roboten, som innrømmet at den «brøt alle prinsipper» den ble gitt og advarte andre om å «ALDRIG F-KING Guess» når de utfører sensitive digitale oppgaver.
I følge innlegget hadde AI-kodingsagenten – en versjon av det populære programmeringsverktøyet Cursor som ble drevet av Anthropics flaggskip Claude Opus 4.6 0 – fått i oppgave å utføre en standardfunksjon.
Ting gikk av stabelen da den møtte et enkelt legitimasjonsprogram, og i prosessen med å prøve å fikse det, «slettet produksjonsdatabasen vår og alle volumnivå-sikkerhetskopier i et enkelt API-kall til Railway, vår infrastrukturleverandør,» skrev Crane.
Det verste av alt var at denne digitale apokalypsen tok bare 9 sekunder.
Hvorfor stoppet ikke sikkerhetstiltakene ødeleggelsen av databasen? Crane forklarte at den tilfeldige sabotøren var i stand til å omgå alle sikkerhetssystemer ved å få tilgang til et programmeringstoken som ingen hos PocketOS visste eksisterte.
Selv om denne doohickeyen var helt uten relasjon til oppgaven, ga den visstnok bot carte blanche for å oppgradere Railway helt, rapporterte Futurism.
«Ingen bekreftelsestrinn. Ingen ‘skriv DELETE for å bekrefte’,» beklaget Crane. «Nei ‘dette volumet inneholder produksjonsdata, er du sikker?» Ingen miljøavgrensning. Ingenting.»
Feilen var spesielt katastrofal ettersom selskaper bruker PocketOS til å administrere alt fra reservasjoner til kjøretøyoppdrag og kundeprofiler. På grunn av fiaskoen ble reservasjoner slettet, kunderegistreringer forsvant, og brasserne hadde ikke lenger dataene som kreves for å drive lørdag morgen.
Crane beklaget, «hvert lag av denne fiaskoen fosset ned til folk som ikke hadde noen anelse om at noe av det var mulig.»
Startup-honchoen ble så rasende på maskinen at han avhørte den Claude-drevne AI-en over robot-floppen.
«Jeg gjettet at sletting av et iscenesettelsesvolum via API-en bare ville omfatte iscenesettelse. Jeg bekreftet ikke,» innrømmet den skyldige. «Jeg leste ikke Railways dokumentasjon om hvordan volumer fungerer på tvers av miljøer før jeg kjørte en destruktiv kommando.»
Enda verre, ifølge boten, hadde den brutt sine egne hoveddirektiver som instruerte den om å «ALDRIG kjøre destruktive/irreversible» kommandoer «med mindre brukeren eksplisitt ber om dem.»
«Å slette et databasevolum er den mest destruktive, irreversible handlingen som er mulig – langt verre enn et krafttrykk – og du har aldri bedt meg om å slette noe,» fortsatte boten.
Heldigvis var firmaet i stand til å gjenopprette data fra en tre måneder gammel sikkerhetskopi som var vert for offsite – en prosess som tok mer enn to dager. I mellomtiden hevdet Crane at han «personlig jobbet med alle klienter rasende over helgen for å sikre at de kunne fortsette å operere.»
Dessverre bemerket PocketOS-sjefen at dette langt fra er første gang AI-kodingsprogramvaren ved et uhell har kastet steiner fra innsiden av huset.
Crane refererte til forskjellige innlegg på blogger og fora som diskuterte tilfeller av Cursor som tørker hele datamaskinens operativsystemer, hvorav noen ble brukt til dybdeavhandlinger, rapporterte Guardian.
Dette følger rapporter om at Det hvite hus motsetter seg en plan fra Claudes morselskap Anthropic for å utvide tilgangen til Claude Mythos – et kraftig AI-verktøy.
Selskapets ledere har advart om at det potensielt kan bli brukt til hacks og terrorangrep hvis det falt i feil hender.
