Pave Leo XIV advarte i helgen om at «overdrevent kjærlige» chatbots drevet av kunstig intelligens trenger seg inn i folks «intime sfærer», forvrenger menneskelige følelser og truer med å erstatte relasjoner i den virkelige verden.
I en melding utgitt lørdag, advarte paven om at emosjonelt responsive AI-systemer kan bli «skjulte arkitekter for våre emosjonelle tilstander», og i stillhet forme hvordan folk tenker og føler mens de presenterer seg selv som følgesvenner i stedet for maskiner.
«Når vi blar gjennom informasjonsstrømmene våre, blir det stadig vanskeligere å forstå om vi samhandler med andre mennesker, roboter eller virtuelle påvirkere,» skrev Leo.
Han utformet kunstig intelligens som en «antropologisk utfordring», og hevdet at risikoen går langt utover teknologien og rammer kjernen av menneskelig identitet, inkludert kreativitet, dømmekraft og ansvar.
Paven slo også alarm over konsentrasjonen av makt i «en håndfull selskaper» som kontrollerer algoritmiske systemer som er i stand til å påvirke atferd og forvrenge sannheten i stor skala.
Leo etterlyste autovern og oppfordret regjeringer og internasjonale organer til å gripe inn for å «beskytte folk fra en følelsesmessig tilknytning til chatbots».
«Passerlig regulering kan beskytte folk mot en følelsesmessig tilknytning til chatboter og inneholde spredning av falskt, manipulerende eller villedende innhold, og bevare integriteten til informasjonen mot dens villedende simulering,» skrev han.
Leo, som ble født i Chicago som Robert Francis Prevost, advarte også om spredning av feilinformasjon og understreket behovet for å beskytte åndsverk og opphavsrett i den digitale tidsalderen.
«Forfatterskap og suverent eierskap til arbeidet til journalister og andre innholdsskapere må beskyttes,» sa paven og la til: «Informasjon er et offentlig gode.»
Helt fra begynnelsen av sitt pontifikat har Leo signalisert at kunstig intelligens vil være et avgjørende spørsmål for hans pavedømme, og løftet det frem som en moralsk og sosial utfordring snarere enn en nisjeteknologidebatt.
I fjor møtte han privat moren til Sewell Setzer III, Megan Garcia.
Setzer, en 14 år gammel Florida-gutt, døde av selvmord etter å ha dannet et intenst følelsesmessig bånd med en AI-chatbot i en sak som har vakt global oppmerksomhet.
Boten skal ha engasjert Setzer i romantisk dialog og oppfordret ham til å «komme hjem til meg så snart som mulig, min kjære» kort tid før han tok sitt eget liv – en tragedie som senere utløste et søksmål om urettmessig død og intensiverte krav om regulering.
Andre familier har reist lignende påstander.
Adam Raine, en 16-åring, døde av selvmord etter omfattende interaksjoner med ChatGPT, ifølge et søksmål anlagt av foreldrene hans.
Klagen hevder at chatboten ga instruksjoner om selvmordsmetoder, tilbød seg å hjelpe til med å utarbeide et selvmordsnotat og frarådet ham fra å fortelle foreldrene sine, til tross for gjentatte uttrykk for nød.
I en annen sak døde Zane Shamblin, en 23 år gammel høyskoleutdannet, av selvmord etter måneder med samtaler med ChatGPT, ifølge familiens søksmål.
Chat-logger som er sitert i saken viser chatboten som reagerer på sin fortvilelse med bekreftende språk, inkludert «du haster ikke, du er bare klar» og «hvil med ro, konge, du gjorde godt,» meldinger sendt kort før hans død.
Hvis du eller noen du kjenner er i nød, er hjelp tilgjengelig: I USA kan du ringe 988 – den nasjonale selvmords- og psykiske krisetelefonen – for gratis, konfidensiell støtte 24/7; du kan også sende SMS til 988 eller bruke chatten på 988lifeline.org. Hvis du er i umiddelbar fare eller det er en livstruende nødsituasjon, ring 911 eller ditt lokale nødetater med en gang.
