Online chatbots genererer nakenbilder av virkelige mennesker på brukernes forespørsel, noe som vekker bekymring fra eksperter som bekymrer seg for at eksplisitte deepfakes vil skape «et veldig marerittaktig scenario.»
En kablet etterforskning av meldingsappen Telegram avdekket dusinvis av AI-drevne chatbots som angivelig «lager eksplisitte bilder eller videoer av mennesker med bare et par klikk,» rapporterte uttaket. Noen «fjerner klær» fra bilder levert av brukere, ifølge Wired, mens andre sier de kan produsere X-vurderte bilder av mennesker som deltar i seksuell aktivitet.
Utsalgsstedet estimerte at omtrent 4 millioner brukere per måned drar nytte av deepfake-mulighetene fra chatbotene, hvorav det var anslagsvis 50. Slike generative AI-roboter lovet å levere «alt du vil ha om ansiktet eller klærne til bildet du gir meg «, rapporterte Wired.
«Vi snakker om en betydelig økning i størrelsesordener i antall mennesker som tydelig aktivt bruker og skaper denne typen innhold,» dypfalsk-ekspert Henry Ajder, som var en av de første som oppdaget undergrunnsverdenen til eksplisitte Telegram-chatbots for fire år siden, fortalte Wired.
«Det er virkelig bekymringsfullt at disse verktøyene – som virkelig ødelegger liv og skaper et veldig marerittaktig scenario, primært for unge jenter og kvinner – fortsatt er så enkle å få tilgang til og å finne på overflaten av nettet, på en av de største appene i verden.»
Mens kjendiser har blitt ofre for fremveksten av pornografiske dypforfalskninger – fra Taylor Swift til Jenna Ortega – har det også vært nylige rapporter om at tenåringsjenter har blitt brukt til å lage dypt falske nakenbilder, hvorav noen har blitt brukt i tilfeller av «sextortion». En fersk undersøkelse avslørte til og med at 40 % av amerikanske studenter rapporterte sirkulasjonen av deepfakes på skolene deres.
Deepfake-nettsteder har blomstret blant fremskritt innen AI-teknologi, ifølge Wired, men har blitt møtt med intens gransking fra lovgivere. I august saksøkte San Franciscos advokatkontor mer enn et dusin «avkledningsnettsteder».
På Telegram kan roboter brukes til oversettelser, spill og varsler – eller, i dette tilfellet, lage farlige dype falske falske handlinger. Da de ble kontaktet av Wired om det eksplisitte chatbot-innholdet, svarte ikke selskapet med kommentarer, men robotene og tilhørende kanaler forsvant plutselig, selv om skaperne sverget å «lage en annen bot» neste dag.
«Denne typen falske bilder kan skade en persons helse og velvære ved å forårsake psykologiske traumer og følelser av ydmykelse, frykt, forlegenhet og skam,» Emma Pickering, leder for teknologi-tilrettelagt misbruk og økonomisk myndighet i Storbritannia. organisasjonen for overgrep mot hjemmet Refuge, fortalte Wired.
«Selv om denne formen for overgrep er vanlig, blir gjerningsmenn sjelden holdt til ansvar, og vi vet at denne typen overgrep blir stadig mer vanlig i intime partnerforhold.»
Elena Michale, direktør og medgründer av advokatgruppen #NotYourPorn, sa til Wired at det er «angående» hvor utfordrende det er «å spore og overvåke» applikasjoner på Telegram som kan fremme denne typen eksplisitte bilder.
«Tenk deg at hvis du var en overlevende som må gjøre det selv, burde byrden ikke ligge på en person,» sa hun. «Sikkert bør byrden ligge på selskapet for å få på plass noe som er proaktivt i stedet for reaktivt.»
Deepfake pornografi uten samtykke har blitt forbudt i flere stater, men eksperter sier at Telegrams vilkår for bruk er vage når det gjelder X-vurdert innhold.
«Jeg vil si at det faktisk ikke er klart om det er forbudt å lage eller distribuere intime bilder uten samtykke på plattformen,» sa Kate Ruane, direktøren for Center for Democracy and Technology sitt frie uttrykksprosjekt, til Wired.
Tidligere i år ble Telegram-sjef Pavel Durov arrestert og siktet for å legge til rette for barnepornografi, selv om han sverget at «lite har endret seg» i hvordan appen hans fungerer og dens personvernpolicy siden arrestasjonen.
I en nylig uttalelse hevdet han at plattformen rutinemessig samarbeidet med rettshåndhevelse når de ble bedt om det, og lovte at selskapet «ikke tillater kriminelle å misbruke plattformen vår eller unndra rettferdighet.»
«Å bruke lover fra før-smarttelefontiden for å anklage en administrerende direktør for forbrytelser begått av tredjeparter på plattformen han administrerer er en feilaktig tilnærming,» skrev Durov i et Telegram-innlegg.
«Byggeteknologi er vanskelig nok som det er. Ingen innovatør vil noensinne bygge nye verktøy hvis de vet at de personlig kan holdes ansvarlige for potensielt misbruk av disse verktøyene.»
Eksperter sier imidlertid at Telegram bør holdes ansvarlig.
«Telegram gir deg søkefunksjonaliteten, så det lar deg identifisere fellesskap, chatter og roboter,» sa Ajder.
«Det gir bot-hosting-funksjonaliteten, så det er et sted som gir verktøyet i kraft. Da er det også stedet hvor du kan dele det og faktisk utføre skaden når det gjelder sluttresultatet.»
