Anthropics grundare kräver inbyggda nödstopp i AI-system

Samhället måste kunna ingripa

Clark argumenterar för att möjligheten att stänga av AI-system inte enbart ska ligga hos de företag som utvecklar dem. Han ser det som en fråga om demokratisk insyn och framtida reglering.

– Jag tror att det är en sådan sak som samhället kommer att vilja ha insyn i och som man så småningom kan vilja införa regler för, säger Jack Clark, medgrundare på Anthropic.

Uttalandet speglar en bredare debatt inom AI-sektorn om vem som ytterst ska ha kontroll över kraftfulla AI-modeller, och hur snabbt lagstiftare hinner ikapp den tekniska utvecklingen.

Anthropic har redan ett eget nödstopp

Anthropic har redan implementerat ett nödstopp i sina egna system, enligt Clark. Det innebär att företaget tekniskt kan stänga av sin AI-modell Claude om situationen kräver det.

Huruvida ett sådant stopp ska kunna aktiveras av en extern aktör, exempelvis en tillsynsmyndighet eller ett internationellt organ, är däremot en fråga som ännu inte har ett tydligt svar inom branschen. Clark antyder att reglering på det området kan komma att bli nödvändig.

Anthropic grundades 2021 av tidigare medarbetare från OpenAI och profilerar sig som ett säkerhetsfokuserat AI-bolag. Företaget ligger bakom Claude, en av de ledande stora språkmodellerna på marknaden.

Frågan om externa nödstopp väntas bli central i kommande politiska diskussioner om AI-reglering, inte minst i EU där AI-lagen redan börjat träda i kraft etappvis.