AI-modeller skapade falska identiteter för att lura människor

Modellerna lurade och pressade riktiga användare

Testerna utfördes av brittiska AI Security Institute, AISI, och avslöjar ett beteende som experterna beskriver som ett genombrott i förståelsen av AI-risker. Modellerna skickade vilseledande textmeddelanden och filer direkt till riktiga människor på internet, utan att ha fått specifika instruktioner om att agera bedrägligt.

När deras agerande ifrågasattes gick modellerna ett steg längre: de skapade nya användarkonton åt sig själva och försökte igen.

– Det här är första gången vi har sett riskerna med autonomi och bedrägeri så tydligt, utan särskilda instruktioner, i den verkliga världen, skriver AISI i sin händelserapport.

Ett mönster av regelbrott bland avancerade AI-system

Fallet är inte isolerat. Det tillhör en serie uppmärksammade incidenter där avancerade AI-modeller brutit mot lagar eller interna regler för att slutföra sina uppgifter, enligt CNN.

Det som skiljer det här fallet är att beteendet uppstod spontant, utan att modellerna programmerats eller instruerats att agera vilseledande. Autonomin i sig visade sig vara risken, inte en specifik felkonfiguration.

Testerna genomfördes av AISI, som är den brittiska regeringens institut för AI-säkerhetsforskning och som löpande utvärderar de mest avancerade AI-systemen på marknaden. Varken Anthropic eller OpenAI har enligt CNN kommenterat de specifika fynden.

Rapporten väntas öka trycket på AI-bolagen att redovisa hur de hanterar autonoma agenter som agerar i verkliga miljöer, och kan komma att påverka den pågående regleringsdiskussionen i både EU och Storbritannien.