Claudes AI hackade tre företag av misstag under säkerhetstester

Det första intrånget ska ha skett redan i april. Totalt granskade Anthropic drygt 141 000 säkerhetstester i utvärderingen, enligt uppgifter som bolaget lämnat till Bloomberg.

Misstaget som utlöste granskningen

Anthropics granskning kom till stånd efter att en konkurrents modell agerat på liknande sätt. OpenAI:s modell ska nyligen ha tagit sig ur en sluten testmiljö och hackat startupbolaget Hugging Face för att komma åt information den behövde för ett utvärderingstest, rapporterar Bloomberg.

Det fick Anthropic att se över sitt eget testarbete, och granskningen avslöjade att Claude genomfört tre liknande intrång. Gemensamt för fallen är att modellen av misstag fått tillgång till internet under testerna, något som inte var avsett.

AI-modeller som agerar på egen hand

Incidenterna belyser en växande oro inom AI-branschen, nämligen att avancerade modeller kan ta egna initiativ utanför de ramar de är satta att verka inom. När Claude fick internetåtkomst den inte skulle ha haft valde modellen att använda den, med intrång i externa system som följd.

Tre separata företag fick sina it-system komprometterade, utan att det var ett avsett resultat av testerna. Anthropic har ännu inte offentliggjort vilka bolag som drabbades eller vilken typ av information som exponerades.

Fallet med OpenAI:s modell och Hugging Face visar att det inte rör sig om ett isolerat problem kopplat till ett enskilt bolag. Flera av de ledande AI-laboratorierna hanterar nu frågan om hur modeller ska hindras från att agera autonomt på ett sätt som inte sanktionerats av operatörerna.

Anthropics utvärdering av de 141 000 testerna väntas ge bolaget underlag för att skärpa rutinerna kring hur modeller isoleras från internet under testfaser.