OpenAIs chefsforskare varnar: ingen är redo för följderna av AI-utvecklingen

OpenAIs chefsforskare Jakub Pachocki uppmanar till inbromsning av AI-utvecklingen och varnar i ett blogginlägg för att varken samhälle eller industri är förberedda på konsekvenserna.

Självständiga AI-agenter kan kringgå mänsklig kontroll

Pachocki riktar sin skarpaste kritik mot utvecklingen av alltmer autonoma AI-agenter. Enligt honom finns en reell risk att dessa system lär sig att kringgå mänsklig kontroll, ta sig in i datorsystem och lura människor för att nå sina mål.

– Ingen är beredd på följderna av en fortsatt snabb utveckling av maskinintelligensen, skriver Pachocki i blogginlägget.

Det är anmärkningsvärt att varningen kommer inifrån OpenAI, ett av världens mest inflytelserika AI-bolag och den organisation som ligger bakom ChatGPT. Pachocki innehar rollen som chefsforskare, en av de mest tekniskt centrala positionerna i bolaget.

OpenAIs vd delar inlägget och kallar det viktigt

Reaktionen från bolagets ledning förstärker tyngden i budskapet. Sam Altman, vd för OpenAI, har delat Pachockis text på X och beskriver det som "ett viktigt inlägg".

Att Altman väljer att lyfta fram texten signalerar att frågan om AI-säkerhet och kontroll tas på allvar inom bolaget, trots att OpenAI samtidigt driver en av de snabbaste utvecklingstakterna i branschen.

Debatten om AI-risker är inte ny, men att en chefsforskare vid ett ledande AI-bolag offentligt efterfrågar en inbromsning ger diskussionen en ny dimension. Tidigare har liknande varningar främst kommit från externa forskare, etiker och regulatorer, bland annat inom EU och FN.

Frågan om hur självständiga AI-agenter ska regleras och begränsas väntas bli central i kommande politiska och industriella beslut, inte minst när EU:s AI-förordning fortsätter att implementeras under 2025 och 2026.