Amodei varnar för AI-kapprustning: "Incitamenten att ligga före är för stora"

Militär fördel gör samarbete svårt

Amodei publicerade ett blogginlägg under helgen där han pekade på riskerna med AI-system som nu har förmågan att förbättra sig själva. Han uppmanade bolagen att koordinera en gemensam inbromsning, men är öppen med att det är lättare sagt än gjort.

– Jag tror att det kommer bli väldigt svårt, för incitamenten att ligga före och den militära fördelen man får av det är så stora, säger han till CBS News.

– Men vi bör försöka.

Utmaningen är klassisk inom geopolitik: ensidiga begränsningar riskerar att gynna den part som inte följer dem. Om västländer bromsar och Kina inte gör det, kan resultatet bli det omvända mot vad Amodei eftersträvar.

Planen kräver insyn och internationell samordning

Amodeis förslag är trefaldigt, enligt CBS News. Det omfattar externa granskare med långtgående insyn i bolagens system, gemensamma säkerhetskrav bland demokratiska länder, samt samordning med det han kallar "auktoritära stater".

Det är den tredje delen som är svårast att omsätta i praktiken. Historiken av teknikrelaterade förhandlingar mellan USA och Kina ger få positiva prejudikat, och AI-kapacitet är i dag tätt sammanlänkad med militär förmåga.

Förslaget har trots det fått brett stöd från tunga aktörer i branschen. Bland dem som ställt sig bakom Amodeis uppmaning finns OpenAI:s vd Sam Altman, Googles Demis Hassabis och Elon Musk, tre personer vars bolag annars konkurrerar hårt om att just ligga i framkant av AI-utvecklingen.

Att ledarna för de mest resursstarka AI-laboratorierna i världen nu öppet diskuterar en koordinerad inbromsning markerar en förändring i hur branschen talar om sina egna risker. Nästa steg, om förslaget ska få praktisk effekt, är att omvandla samstämmigheten bland västerländska bolag till bindande mekanismer, och att hitta en ingång till de stater som ännu inte sitter vid samma bord.