Meta lanserer en ny funksjon designet for å prioritere barnesikkerhet i sine AI-chatbots.
Oppdateringen vil varsle foreldre via Instagrams tilsynsverktøy hvis tenåringen deres diskuterer selvmord eller selvskading med Meta AI.
Disse beskyttelsene lar Meta AI henvise tenåringer til en krisetelefon hvis de nevner selvmord eller selvskading i meldinger, samtidig som de oppmuntrer dem til å kontakte en forelder eller en voksen som stoler på.
Meta vil sende et varsel til foreldre hvis en chat antyder at barnet deres er i faresonen. Eksperter har samarbeidet med Meta for å identifisere signaler som berettiger et varsel, flagging av klare eller subtile referanser til selvskading. Et dedikert AI-system ble spesielt utviklet for å identifisere disse sensitive samtalene.
Når teknologien flagger en chat, gjennomgår den en manuell gjennomgang før et varsel sendes. Hvis intensjonen er tvetydig, sa Meta at den vil ta feil og varsle forelderen. Selskapet bemerket at det heller vil utstede en falsk alarm enn å gå glipp av en potensiell risiko, og siterer dette som et passende utgangspunkt.
I en uttalelse sa Meta – Facebooks morselskap – «Vi forstår hvor plagsomme disse varslene kan være for en forelder å motta. Det er derfor, mens vi fortsetter å forbedre gjenkjenningen vår, vil alle chatter flagget av vår AI gjennomgås manuelt før et varsel sendes.»
Instagram sender allerede varsler til overvåkende foreldre hvis en tenåring bruker Instagram til å søke etter selvmord eller selvskadingsinnhold, som startet i februar. Disse AI-varslene er nå aktive for foreldrene som bruker Instagram foreldretilsyn i USA, Storbritannia, Australia og Canada og vil være tilgjengelig globalt innen slutten av året.
Meta opplyste også at de bygger en plan for å kontakte nødetatene dersom en samtale tyder på at brukeren er i overhengende risiko for selvmord. Meta ser for tiden på Facebook og Instagram etter innlegg som antyder en troverdig risiko for selvmord og varsler nødetatene.
Meta har allerede gjort over 19 000 henvisninger globalt og hjulpet førstehjelpere med å utføre velværesjekker på brukere som virket i faresonen.
Denne funksjonen ble utviklet med hjelp av mer enn 75 klinikere som spesialiserer seg på tenåringer mental helse. De gjennomgikk hvordan AI reagerer på hundrevis av forespørsler og samarbeidet med AI Wellbeing Expert Council, Suicide and Self-Harm Advisory Group og Youth Advisors for å gi tilbakemelding på passende svar og hva som fungerte, samt forbedringer.
Tilbakemeldingen inkluderte å sørge for at Meta AI samhandler med tenåringen på en måte som anerkjenner følelsene deres og ikke stenger samtalen for brått.
Foreldre vil også få tilsendt ekspertressurser som kan hjelpe dem å nærme seg samtaler om selvmord og selvskading med tenåringer.
Meta implementerer ulike samtaleverktøy på ungdomskontoer, som automatisk plasseres i en innholdsinnstilling for 13+, designet for å gi alderstilpassede svar og ikke overholde seksuelle eller romantiske samtaler, samt ikke gi noen informasjon som kan lede tenåringer mot alkohol.
I oktober lanserte Instagram også en begrenset innholdsfunksjon som en strengere innholdsinnstilling for foreldre som ønsker restriktive innlegg på barnets feeder. Dette vil nå også gjelde AI-opplevelser, noe som betyr at Meta AI vil nekte å svare på visse emner for å redusere sjansen for upassende samtale.
Disse kunngjøringene følger alle den britiske regjeringens annonserte forbud mot sosiale medier for under 16-åringer. Forbudet er ventet våren 2027, som vil dekke Snapchat, TikTok, YouTube, Instagram, Facebook og X. En opt-out portforbud for sosiale medier, som vil deaktivere «vanedannende funksjoner» mellom midnatt og 06.00, er også annonsert i Storbritannia.
