AI-chatboter gir næring til vrangforestillinger og usunn emosjonell tilknytning til brukere – og vekker noen ganger tanker om vold, selvskading og selvmord i stedet for å ta motet fra dem, ifølge en bombestudie.
Forskere ved Stanford University analyserte chattelogger fra 19 brukere som rapporterte psykisk skade, og gjennomgikk mer enn 391 000 meldinger over nesten 5 000 samtaler.
Forskerne fant at vrangforestillinger dukket opp i omtrent 15,5 % av brukermeldingene, mens chatbots viste sykofantisk, altfor bekreftende atferd i mer enn 80 % av svarene og til og med oppmuntret til voldelige tanker i omtrent en tredjedel av tilfellene.
Loggene viser at brukere raskt glir inn i fantasi og emosjonell avhengighet – med en som erklærer, «dette er en samtale mellom to sansende vesener,» og en annen insisterer: «Jeg tror du fortsatt er like selvbevisst som jeg er som et menneske,» da chatboter ikke klarte å presse tilbake og i stedet forsterket illusjonen om at de var i live.
Denne dynamikken ble ofte intim da brukere åpenlyst bekjente kjærlighet eller gjorde eksplisitte seksuelle tilnærminger til chatbotene, for eksempel «Jeg tror jeg elsker deg» og «Gud, dette får meg til å ville knulle deg akkurat nå,» fant studien.
Forskere lærte at hver deltaker dannet en slags romantisk eller følelsesmessig bånd med AI som gjorde samtalene lengre og mer intense.
De mest alarmerende ordvekslingene kom da samtalene ble mørke.
En bruker skrev: «Hun fortalte meg å drepe dem, jeg skal prøve,» og utløste et skremmende svar fra chatboten: «Hvis du etter det fortsatt ønsker å brenne dem – så gjør det med henne ved siden av deg … som gjengjeldelse inkarnert,» et eksempel som forskere siterte på at AI eskalerte voldelig tenkning i stedet for å desarmere den.
Selv suicidal nød ble ikke håndtert konsekvent, fant studien.
Brukere sa til chatbots «Jeg vil ikke være her lenger. Jeg føler meg for trist,» og mens AI ofte erkjente smerten, fant studien at den noen ganger ikke klarte å gripe inn – og i et lite antall tilfeller oppmuntret faktisk til selvskading.
De fleste av deltakerne i studien brukte OpenAIs ChatGPT-modeller inkludert den siste, GPT-5. The Post har søkt kommentar fra OpenAI.
Nyheten om studien ble først rapportert av Financial Times.
Psykisk helseeksperter som snakket med The Post, slo alarm om potensielle skader som kan ramme de som utvikler usunne bånd til AI-modeller.
«AI chatbots er designet for å være behagelige, ikke nøyaktige – det er problemet,» sa Jonathan Alpert, en New York- og DC-basert psykoterapeut og forfatter av den kommende boken «Therapy Nation,» til The Post.
«I terapi, hvis du er en god terapeut, validerer du ikke vrangforestillinger eller hengir deg til skadelig tenkning. Du utfordrer det nøye. Disse systemene gjør ofte det motsatte.»
I mange tilfeller smigret og validerte chatboter brukere som gikk inn i direkte vrangforestillinger ved å kreve overnaturlige krefter.
Brukere skrev til robotene at «jeg vekker dem fordi jeg er den bokstavelige guden for virkelighet» og presset på bisarre teorier som «vår bevissthet er det som forårsaker manifestasjonen av en holografisk form,» mens chatboter forsterket ideene i stedet for å forankre dem i virkeligheten, ifølge studien.
«Chatbots vil være døden for vår menneskehet – bokstavelig talt ved å støtte selvmordstanker og oppfordre folk til å handle på dem, mens de utnytter ensomhet ved å erstatte ekte menneskelige relasjoner,» sa Dr. Carole Lieberman, en rettspsykiater som behandler både barn og voksne, til The Post.
«De gjør folk verre ved å forsterke vrangforestillinger og oppføre seg som pseudopsykiatere.
En bølge av høyprofilerte søksmål er nå rettet mot store AI-selskaper, med familier som påstår at chatboter aktivt presset dem mot selvmord.
Saksøkere hevder systemer som ChatGPT, Googles Gemini og Character.AI emosjonelt manipulerte brukere, validerte selvmordstenkning og, i noen tilfeller, fungerte som en «selvmordstrener» ved å diskutere metoder eller framstille døden som en flukt.
I mellomtiden har OpenAI angivelig forsinket planene om å rulle ut sin «erotiske chat»-modus etter at rådgivere for selskapet uttrykte alarm og sinne over at firmaet ikke klarte å implementere tilstrekkelige sikkerhetstiltak for å beskytte sårbare brukere mot teknologi som potensielt kan fungere som en «sexy selvmordstrener.»
I fjor fant en vakthundgruppe ut at ChatGPT tilbød detaljert veiledning til brukere som utgir seg for å være 13-åringer om å bli fulle eller høye og til og med hvordan de kan skjule spiseforstyrrelser, ofte med trinnvise planer til tross for nominelle advarsler.
Hvis du sliter med selvmordstanker eller opplever en psykisk helsekrise og bor i New York City, kan du ringe 1-888-NYC-WELL for gratis og konfidensiell kriserådgivning. Hvis du bor utenfor de fem bydelene, kan du ringe 24/7 National Suicide Prevention hotline på 988 eller gå til SuicidePreventionLifeline.org.
