En advokat har utstedt en advarsel om en forseggjort AI-stemmekloningssvindel som lurte hans egen far til nesten å overlevere $35 000.
Svindlere etterlignet Jay Shooster, 34, og ringte faren Frank, 70, og overbeviste ham om at sønnen hans hadde vært i en alvorlig bilulykke, ble arrestert og trengte kausjon.
Livredd Frank, en pensjonert advokat, sa at han var overbevist om at det var hans «hysteriske» sønn og har blitt dypt traumatisert av svindelen.
Jay stiller for Floridas 91. distrikt i Representantenes hus, og tror svindlere klarte å lage en falsk stemme fra hans 15-sekunders TV-kampanjeannonse.
Frank, også fra Boca Raton, Florida, som besøkte datteren sin i New York på den tiden, sa: «Akkurat da Uber-bilen kom for å ta meg inn i New York City, fikk jeg en telefon.
«Det var sønnen min, Jay. Han var hysterisk, men jeg kjente stemmen hans umiddelbart.
«Han sa at han hadde vært i en ulykke, brakk nesen, hadde 16 sting og var i politiets varetekt fordi han testet positivt for alkohol etter en alkometer.
«Han skyldte det på hostesaften han hadde tatt tidligere.»
Imitatoren, som utga seg som Jay, tryglet Frank om ikke å fortelle noen om situasjonen 28. september.
Øyeblikk senere ringte en mann som identifiserte seg som ‘Mike Rivers’, en antatt advokat, og sa at Jay trengte en kontantobligasjon på $35 000 for å unngå å bli holdt i fengsel i flere dager.
Svindelen eskalerte da ‘Rivers’ instruerte Frank om å betale obligasjonen via en kryptovalutamaskin – en ukonvensjonell forespørsel som økte Franks mistanker.
«Jeg ble mistenksom da han ba meg gå til en Coinbase-maskin på Winn-Dixie,» sier Frank. «Jeg forsto ikke hvordan det var en del av den juridiske prosessen.»
Frank skjønte til slutt at noe var galt etter at datteren hans, Jays tvillingsøster, Lauren, og venninnen hennes oppdaget AI-stemmekloningssvindel var på vei oppover.
Han la til slutt på telefonen.
«Det er ødeleggende å få en slik samtale,» sa Frank.
«Sønnen min har jobbet så hardt, og jeg var utenom meg selv og trodde karrieren og kampanjen hans kunne være i ruiner.»
Jay, som har presentert svindel som dette som advokat, ble sjokkert da han fant seg et mål.
Han spekulerte i at svindlerne kan ha klonet stemmen hans fra hans nylige kampanjeannonse, som hadde blitt sendt på TV bare dager før hendelsen.
«Jeg har vært oppmerksom på AI og dens effekter på forbrukere, men ingenting forbereder deg på når det skjer deg,» sier Jay.
«De gjorde sin forskning. De brukte ikke telefonnummeret mitt, noe som passet til historien om at jeg satt i fengsel uten tilgang til telefonen min.»
Svindelens raffinement gjorde Jay lamslått.
«Alt som trengs er noen sekunder av noens stemme,» sa han.
«Teknologien er så avansert at de lett kunne ha trukket stemmen min fra min 15-sekunders kampanjeannonse.
«Det er også andre videoopptak av meg på nettet, så de kunne ha brukt noe av det til å klone stemmen min.»
Jay tar til orde for endringer i AI-reguleringen for å forhindre at slik svindel skader andre.
«Det er tre viktige politiske løsninger vi trenger,» sier han. «For det første må AI-selskaper holdes ansvarlige hvis produktene deres blir misbrukt.
«For det andre bør selskaper kreve autentisering før de kloner noens stemme. Og for det tredje bør AI-generert innhold være vannmerket, så det er lett å oppdage, enten det er en klonet stemme eller en falsk video.»
Hvis Jay blir valgt inn i Floridas Representantenes hus, planlegger Jay å iverksette tiltak mot det økende misbruket av AI-teknologi, inkludert svindel med stemmekloning.
Han tar sikte på å innføre lovgivning som vil holde AI-selskaper ansvarlige for misbruk, og sikre at de implementerer nødvendige sikkerhetstiltak som stemmeautentisering og vannmerking.
«Vi må lage klare regler for å stoppe denne typen forbrytelser fra å skje,» sier Jay. «Det handler ikke bare om teknologi – det handler om å beskytte folk mot traumer og økonomiske skader som kan oppstå fra disse svindelene.
«Jeg ønsker å presse på for strengere krav til AI-utviklere for å sikre at verktøyene deres ikke brukes ondsinnet.»
Ettersom AI-teknologien utvikler seg raskt, håper Jay og Frank historien deres fungerer som en advarsel for andre om å være årvåkne.
«Dette viser hvor viktig det er å holde seg rolig og tenke nøye gjennom ting,» bemerker Frank. «Du må lytte og stille spørsmål hvis noe ikke stemmer. Svindel som dette blir mer sofistikert, men vi kan ikke la vår vakt ned.»
