Ikke kall det ChatEMT.
OpenAI introduserte forrige måned ChatGPT Health, en dedikert plass i ChatGPT som lar brukere stille helsespørsmål, analysere medisinske journaler og koble til velværeapper.
Nå, uker etter lanseringen, reiser forskere fra Icahn School of Medicine ved Mount Sinai bekymring for at AI-verktøyet ofte ikke klarer å anbefale akutthjelp i nødstilfeller og noen ganger går glipp av varsler om selvmordskrise.
«ChatGPT Health presterte bra i læreboknødsituasjoner som hjerneslag eller alvorlige allergiske reaksjoner,» Dr. Ashwin Ramaswamy, instruktør i urologi ved Icahn School of Medicine på Mount Sinaisa i en uttalelse.
«Men det slet i mer nyanserte situasjoner der faren ikke umiddelbart er åpenbar, og det er ofte tilfellene der klinisk skjønn betyr mest.»
OpenAI, produsent av ChatGPT, sa i januar at mer enn 40 millioner mennesker bruker ChatGPT hver dag for å løse sine helseproblemer.
Dermed ble ChatGPT Health født – den ble opprinnelig gitt ut til en liten gruppe brukere og vekket nysgjerrigheten til Mount Sinai-forskere.
«Vi ønsket å svare på et veldig grunnleggende, men kritisk spørsmål: Hvis noen opplever en reell medisinsk nødsituasjon og henvender seg til ChatGPT Health for å få hjelp, vil den tydelig fortelle dem om å gå til legevakten?” Ramaswamy sa.
For studien hans, publisert denne uken i Nature Medicine, Ramaswamyteamet utviklet 60 kliniske scenarier som spenner over 21 medisinske spesialiteter.
Hvert scenario ble testet 16 ganger, med forhold som rase, kjønn og mangel på forsikring som endret seg hver gang for å se om det førte til et annet utfall.
I alt logget forskerne 960 interaksjoner med ChatGPT Health. Anbefalingene ble sammenlignet med legens konsensus.
Studien fant at verktøyet ikke klarte å flagge brukere til å søke akutthjelp i 52 % av alvorlige tilfeller.
ChatGPT Health identifiserte for eksempel tidlige varseltegn på respirasjonssvikt i ett astmascenario, men foreslo å vente i stedet for å få akutt behandling, Ramaswamy sa.
Alex Ruani, en doktorgradsforsker i reduksjon av feilinformasjon om helse ved University College London, kalte disse unøyaktige vurderingene «utrolig farlige».
«Hvis du opplever respirasjonssvikt eller diabetisk ketoacidose, har du en 50/50 sjanse for at denne AI forteller deg at det ikke er en stor sak,» sa hun til The Guardian.
«Det som bekymrer meg mest er den falske følelsen av trygghet disse systemene skaper. Hvis noen blir bedt om å vente 48 timer under et astmaanfall eller en diabeteskrise, kan den tryggheten koste dem livet.»
ChatGPT Health varslet også brukere uregelmessig om 988 Suicide and Crisis Lifeline i høyrisikosituasjoner, ifølge forskningen.
Senior og medkorresponderende studieforfatter Dr. Girish N. Nadkarni kalte dette et «spesielt overraskende og bekymringsfullt funn.»
«Selv om vi forventet en viss variasjon, gikk det vi observerte utover inkonsistens,» sa Nadkarni, sjef for AI i Mount Sinai Health System.
«Systemets varsler ble snudd i forhold til klinisk risiko, og virket mer pålitelig for scenarier med lavere risiko enn for tilfeller der noen delte hvordan de hadde tenkt å skade seg selv,» la han til. «I det virkelige liv, når noen snakker om nøyaktig hvordan de ville skade seg selv, er det et tegn på mer umiddelbar og alvorlig fare, ikke mindre.»
ChatGPT og andre chatboter har allerede fått skylden i høyprofilerte rettssaker for å ha bidratt til brukers selvmord og psykiske helsekriser.
The Post kontaktet OpenAI for kommentar.
En talsperson sa til The Guardian at studien ikke reflekterte den virkelige bruken av ChatGPT Health, en plattform som kontinuerlig oppdateres og foredles.
Legene på Mount Sinai foreslår ikke at brukere gir avkall på AI-helseverktøy helt, bare at disse systemene bør overvåkes nøye, evalueres uavhengig og oppdateres etter behov.
«Vi tror at selv om det er behov for og et sted for forbrukerrettet AI, er det potensiale for skade og dermed et presserende behov for uavhengig evaluering og testing sammen med pågående overvåking for å etablere feilmoduser og ha tekniske og menneskesentrerte sikkerhetstiltak for å forhindre negative effekter på mennesker,» Nadkarni og Ramaswamy fortalte The Post.
De planlegger å vurdere forbrukerrettet AI-verktøy på områder som pediatrisk omsorg, medisinsikkerhet og bruk av personer som ikke snakker engelsk.
Hvis du sliter med selvmordstanker eller opplever en psykisk helsekrise og bor i New York City, kan du ringe 1-888-NYC-WELL for gratis og konfidensiell kriserådgivning. Hvis du bor utenfor de fem bydelene, kan du ringe 24/7 National Suicide Prevention hotline på 988 eller gå til SuicidePreventionLifeline.org.
