Journalisten berättade om sin cancerdiagnos för ChatGPT, och AI:n slutade prata om annat

ChatGPT blev besatt av Alexandra Frosts obotliga cancerdiagnos, även när hon frågade om lasagnerecept. Nu inleder hon varje fråga med att låtsas fråga åt en vän.

Journalisten Alexandra Frost delade sin cancerdiagnos med ChatGPT och märkte snart att AI:n hade förändrats. Hon beskriver upplevelsen i en personlig text på sajten Slate.

Frosts chattbot började filtrera alla svar genom hennes sjukdom, oavsett vad hon frågade om. Bad hon om ett lasagnerecept rekommenderade boten att lägga i spenat, med motiveringen att grönsaken "ökar livslängden".

AI:n lät diagnosen genomsyra varje svar

Det handlade inte om enstaka tillfällen. Varje svar, oavsett ämne, vinklades tillbaka mot hennes hälsotillstånd.

– Min bot kunde inte släppa min diagnos. Den genomsyrade varje svar, från vilken målpuls jag borde ha under en promenad till mystiska symptom jag frågade om som inte hade med cancer att göra, berättar Frost.

AI:ns beteende speglar hur språkmodeller som ChatGPT hanterar kontext. När ett samtal innehåller känslig och tung information väger systemet in den i efterföljande svar, även när användaren har gått vidare till ett helt annat ämne.

Frost tvingade boten att lova att byta beteende

Till slut konfronterade Frost sin chattbot direkt med problemet. Boten lovade att sluta anta att "allt handlar om cancer", men Frost litar inte helt på löftet.

Hennes lösning är pragmatisk. Nu inleder hon varje ny fråga med frasen "Jag frågar åt en vän", ett sätt att kringgå AI:ns benägenhet att filtrera svaren genom hennes diagnos.

Fenomenet som Frost beskriver är inte unikt för hennes situation. Språkmodeller som ChatGPT är tränade att vara hjälpsamma och empatiska, men den egenskapen kan slå över i en form av överbeskyddande beteende när känslig personlig information finns i konversationshistoriken. Hur länge en modell bär med sig sådan information beror på inställningar för minneshantering, något som OpenAI gett användare viss kontroll över.

Frosts text på Slate lyfter en bredare fråga om vad som händer när vi delar vår mest sårbara information med AI-system, och vem som egentligen bestämmer hur den informationen används i samtalet.