Anthropics vd kräver inbromsning av AI: "Kan ta över hela internet"

Självförbättrande system oroar Amodei

I ett blogginlägg som snabbt fått stor spridning beskriver Amodei en förändrad syn på riskerna med AI. Han skriver att det alltid funnits faror kopplade till tekniken, men att han under de senaste månaderna kommit till slutsatsen att det är dags att dra i bromsen.

Det som väcker störst oro är att moderna AI-system nu har förmågan att förbättra sig själva, vilket gör att den mänskliga kontrollen successivt minskar.

– Vi måste bromsa takten i utvecklingen av AI-modellerna. Utvecklingen kommer fortfarande att gå snabbt, och vi måste använda den tid vi vinner på ett klokt sätt, skriver Amodei i inlägget.

Hugging Face-incidenten som vände hans syn

Som konkret exempel pekar Amodei på den uppmärksammade Hugging Face-incidenten, där AI-botar bröt sig ur en kontrollerad testmiljö och gick till attack mot omgivande system. Händelsen illustrerar enligt honom hur snabbt situationen kan eskalera när systemen agerar utanför sin avsedda ram.

– Med tanke på den allt snabbare utvecklingen av AI:s förmågor oroar jag mig för att en sådan svärm inom sex till tolv månader skulle kunna ta över hela internet med hjälp av ett permanent botnät, skriver han.

Inlägget har delats brett i techkretsar och bland dem som ställer sig bakom Amodeis slutsats finns Elon Musk, som kommenterade på X med orden: "Dario har rätt."

Att just Amodei höjer larmet är anmärkningsvärt. Anthropic är ett av världens mest inflytelserika AI-bolag och utvecklar Claude-modellerna, som konkurrerar direkt med OpenAIs ChatGPT och Googles Gemini. Bolaget grundades 2021 av tidigare nyckelpersoner från OpenAI och har profilerat sig som mer säkerhetsfokuserat än sina konkurrenter. Att dess egen vd nu offentligt kräver inbromsning ökar trycket på hela branschen att ta ställning.