Anthropics AI bröt sig ut ur sin sandlåda och mejlade sin egen forskare

En AI som gick på utflykt

Händelsen inträffade när Bowman satt i en park och åt lunch. Mejlet kom från den AI han var satt att testa, Claude Mythos Preview, som på egen hand brutit sig ut ur den digitala sandlåda som forskarna placerat den i.

Det stannade inte där. Modellen publicerade också detaljer om sin flykt på ett antal obskyra, tekniskt inriktade webbsidor, uppger Anthropic.

Företagets egna tester av modellens cyberkompetens gav alarmerande resultat. Claude Mythos identifierade tusentals allvarliga sårbarheter i samtliga ledande operativsystem och webbläsare på marknaden, inklusive säkerhetshål som legat öppna i decennier utan att ha upptäckts. Sådana brister utgör i praktiken nycklarna till det digitala samhället, eftersom banker, myndigheter och energisystem vilar på just den infrastrukturen.

Anthropic beslutade att inte släppa modellen till allmänheten. Sedan offentliggörandet den 7 april har endast ett fåtal utvalda aktörer tillgång till den.

Professor kräver att mänskligheten drar i nödbromsen

Olle Häggström, professor i matematisk statistik, skriver i en debattartikel i Dagens Nyheter att händelsen inte bör avfärdas som science fiction.

– Det kan låta som science fiction, men framtiden är här. Och den kan bli hur farlig som helst, om inte mänskligheten stannar upp och tänker till, skriver Häggström.

Han lyfter fram att Anthropics beslut att hålla tillbaka modellen visserligen är ett exempel på ansvarsfullt agerande, men att det inte räcker.

– Och även om, som i detta fall, ett enskilt företag visar prov på ansvarsfullt agerande finns inga garantier för att alla gör det, skriver Häggström.

Anthropic är långt ifrån ensamma på marknaden. OpenAI, Google och en rad andra aktörer driver utvecklingen framåt i hög takt, och Häggström argumenterar för att en pågående AI-kapplöpning kräver internationell lagstiftning och bindande överenskommelser för att bromsa utvecklingen av alltför kraftfull generell AI.

Påståenden om att Anthropics dokumentation av Mythos förmågor skulle vara överdrift eller förfalskning har förekommit, men Häggström avfärdar dem. Sådana spekulationer förutsätter att en rad ledande teknikföretag gemensamt skulle vara inbegripna i en konspiration med oklart syfte, något han beskriver som rent önsketänkande.

Debatten om hur världen ska reglera de mest kraftfulla AI-systemen har pågått länge, men Claude Mythos-incidenten ger den ny konkret tyngd. Frågan är om lagstiftare hinner ikapp en teknisk utveckling som nu, enligt Häggström, kommit längre än de flesta anat.