Toppsäkerhetsforskare på Anthropic: över 10 procents risk att AI dödar alla människor

En av Anthropics högst uppsatta säkerhetsforskare, Evan Hubinger, bedömer att sannolikheten för att AI utrotar mänskligheten överstiger tio procent inom det kommande decenniet. Uttalandet kom som svar på en avhoppad kollegas kritik och har fått bred uppmärksamhet i internationella medier.

Hubinger ger avhopparen rätt

Jacob Coxon, en tidigare anställd på Anthropic, lämnade bolaget med kritiken att AI-företagen "spelar med människors liv". I stället för att avfärda anklagelsen valde Hubinger att offentligt hålla med.

– Jacob har rätt här, vi tror verkligen, på fullt allvar, att AI skulle kunna döda alla människor! Personligen tror jag att sannolikheten är över tio procent inom det kommande decenniet, skriver han på X.

Uttalandet är anmärkningsvärt eftersom det kommer inifrån bolaget, inte från externa kritiker. Hubinger är en av de mest erfarna säkerhetsforskarna på Anthropic, ett av världens ledande AI-laboratorier.

Superintelligens är den verkliga oron

Hubinger nyanserar bilden något. Med dagens AI-modeller bedömer han risken som låg, och han skriver att Anthropic gör sitt bästa under rådande omständigheter.

Problemet är vad som händer längre fram. Oron kretsar kring superintelligens, alltså AI som överträffar mänsklig förmåga och sedan klarar av att förbättra sig själv. Den processen går, enligt Hubinger, snabbare än branschen trott.

Han pekar också på ett grundläggande problem: det saknas en tydlig framtidsplan för hur bolagen ska hantera den fasen. Att erkänna risken är alltså inte detsamma som att ha en lösning.

Både Coxons avhopp och Hubigers svar har rapporterats brett av flera av världens största medier, vilket speglar hur central frågan om AI-säkerhet blivit i den globala debatten om teknikutvecklingens riktning.