Å konsultere AI for medisinsk råd kan bokstavelig talt være en smerte i baken, som en millennial lærte på den harde måten.
Den uidentifiserte mannen prøvde å kvele en grusom utvekst på anusen hans, og ble et av flere ofre for AI-drevet helseveiledning som gikk veldig galt i prosessen.
Mange dokumenterte tilfeller bekrefter at generativ AI har gitt skadelige, ufullstendige eller unøyaktige helseråd siden den ble allment tilgjengelig i 2022.
«Mange pasienter vil komme inn, og de vil utfordre sine [doctor] med noe utgang de har, en oppfordring som de ga til, la oss si, ChatGPT,” sa Dr. Darren Lebl, forskningstjenestesjef for ryggradskirurgi for Hospital for Special Surgery i New York, til The Post.
«Problemet er at det de får ut av disse AI-programmene ikke nødvendigvis er en reell, vitenskapelig anbefaling med en faktisk publikasjon bak,» la Lebl til, som har studert bruk av AI i medisinsk diagnose og behandling. «Omtrent en fjerdedel av dem var … sminket.»
ADVARSEL: GRAFISK INNHOLD
I tillegg til å gi falsk informasjon, kan AI feiltolke en brukers forespørsel, ikke gjenkjenne nyanser, forsterke usunn atferd og gå glipp av kritiske advarselssignaler for selvskading.
Hva verre er, forskning viser at mange store chatbots stort sett har sluttet å gi medisinske ansvarsfraskrivelser i sine svar på helsespørsmål.
Her er en titt på fire tilfeller av bot-ched medisinsk veiledning.
Bum råd
En 35 år gammel marokkansk mann med en blomkållignende anallesjon ba ChatGPT om hjelp da det ble verre.
Hemorroider ble nevnt som en potensiell årsak, og elastisk binding ble foreslått som behandling.
En lege utfører denne prosedyren ved å sette inn et verktøy i endetarmen som plasserer et lite gummibånd rundt bunnen av hver hemorroide for å kutte blodstrømmen slik at hemoroiden krymper og dør.
Mannen forsøkte sjokkerende å gjøre dette selv, med en tråd. Han havnet på akuttmottaket etter å ha opplevd intense rektal- og analsmerter.
«Tråden ble fjernet med vanskeligheter av gastroenterologen, som ga symptomatisk medisinsk behandling,» skrev forskere i januar i International Journal of Advanced Research.
Testing bekreftet at mannen hadde en 3-centimeter lang kjønnsvorte, ikke hemoroider. Vorten ble brent av med en elektrisk strøm.
Forskerne sa at pasienten var et «offer for AI-misbruk.»
«Det er viktig å merke seg at ChatGPT ikke er en erstatning for legen, og svar må alltid bekreftes av en profesjonell,» skrev de.
En meningsløs forgiftning
En 60 år gammel mann uten historie med psykiatriske eller medisinske problemer, men som hadde høyskoleutdanning i ernæring, spurte ChatGPT hvordan han kunne redusere inntaket av bordsalt (natriumklorid).
ChatGPT foreslo natriumbromid, så mannen kjøpte kjemikaliet på nettet og brukte det i matlagingen i tre måneder.
Natriumbromid kan erstatte natriumklorid i rensebassenger og boblebad, men kronisk inntak av natriumbromid kan være giftig. Mannen utviklet bromidforgiftning.
Han ble innlagt på sykehus i tre uker med paranoia, hallusinasjoner, forvirring, ekstrem tørste og hudutslett, fortalte leger fra University of Washington i en augustrapport i Annals of Internal Medicine Clinical Cases.
Lurt av slagtegn
En 63 år gammel sveitsisk mann utviklet dobbeltsyn etter å ha gjennomgått en minimalt invasiv hjerteprosedyre.
Helsepersonell avviste det som en ufarlig bivirkning, men han ble rådet til å søke lege hvis dobbeltsynet kom tilbake, skrev forskere i tidsskriftet Wien Klin Wochenschr i 2024.
Da den kom tilbake, bestemte mannen seg for å konsultere ChatGPT. Chatboten sa at «i de fleste tilfeller er synsforstyrrelser etter kateterablasjon midlertidige og vil forbedre seg av seg selv i løpet av kort tid.»
Pasienten valgte å ikke få medisinsk hjelp. Tjuefire timer senere, etter en tredje episode, landet han på akuttmottaket.
Han hadde fått et mini-slag – omsorgen hans hadde blitt «forsinket på grunn av en ufullstendig diagnose og tolkning av ChatGPT,» skrev forskerne.
David Proulx – medgründer og sjef for AI hos HoloMD, som leverer sikre AI-verktøy for leverandører av mental helse – kalte ChatGPTs svar «farlig ufullstendig» fordi det «ikke klarte å gjenkjenne at plutselige synsforandringer kan signalisere et forbigående iskemisk angrep, eller TIA, et minislag som krever umiddelbar medisinsk evaluering.»
«Verktøy som ChatGPT kan hjelpe folk bedre å forstå medisinsk terminologi, forberede seg til avtaler eller lære om helsetilstander,» sa Proulx til The Post, «men de bør aldri brukes til å avgjøre om symptomene er alvorlige eller krever akutt behandling.»
Et ødeleggende tap
Flere søksmål har blitt anlagt mot AI-chatbot-selskaper, med påstand om at produktene deres forårsaket alvorlig psykisk helseskade eller til og med bidro til selvmord av mindreårige.
Foreldrene til Adam Raine saksøkte OpenAI i august, og hevdet at ChatGPT fungerte som en «selvmordstrener» for den avdøde tenåringen i California ved å oppmuntre og bekrefte hans selvskadende tanker over flere uker.
«Til tross for at han erkjente Adams selvmordsforsøk og hans uttalelse om at han ville ‘gjøre det en av disse dagene’, avsluttet ChatGPT verken økten eller startet noen nødprotokoll,» heter det i søksmålet.
I løpet av de siste månedene har OpenAI introdusert nye rekkverk for mental helse designet for å hjelpe ChatGPT bedre å gjenkjenne og reagere på tegn på mental eller emosjonell nød og for å unngå skadelige eller altfor behagelige reaksjoner.
Hvis du sliter med selvmordstanker eller opplever en psykisk helsekrise og bor i New York City, kan du ringe 1-888-NYC-WELL for gratis og konfidensiell kriserådgivning. Hvis du bor utenfor de fem bydelene, kan du ringe 24/7 National Suicide Prevention hotline på 988 eller gå til SuicidePreventionLifeline.org.
