Övertro på AI bakom dödlig skolattack i Iran, visar Pentagons utredning

AI-systemet Maven låg bakom målidentifieringen

Attacken genomfördes med hjälp av AI-systemet Maven, utvecklat av Peter Thiels bolag Palantir. Systemet har vuxit till att bli en "hörnsten" i den amerikanska militärens operationer och hjälper befälhavare att identifiera mål utifrån underrättelsedata.

Inför Irankriget förväntades Maven klara av en uppgift det inte var tränat för, nämligen att på egen hand upptäcka inaktuella och motstridiga uppgifter. Det ledde till att felaktig information låg till grund för attacken mot det som visade sig vara en skola.

Palantir tillbakavisar att bolaget bär ansvar för utfallet.

– Vi ansvarar inte för underrättelserna som matas in i vårt system, uppger bolaget enligt Bloombergs källor.

En kaskad av misstag som hade kunnat undvikas

Pentagons utredning beskriver händelseförloppet som en "kaskad" av misstag, där varje felsteg förstärkte nästa. Kombinationen av utdaterade underrättelseuppgifter och ett AI-verktyg som tolkades ha större förmågor än det faktiskt hade skapade förutsättningarna för katastrofen.

Attacken klassas som det dödligaste amerikanska militära misstaget under 2000-talet, mätt i antalet dödade barn. De 123 barnen som omkom utgör en majoritet av de totalt 150 dödsoffren från den första dagen av Irankriget.

Utredningens slutsatser pekar på ett systemfel snarare än enskilda beslut. Tilltron till att AI-systemet skulle flagga för felaktigheter ersatte mänsklig granskning av underrättelseläget, något som källorna beskriver som ett avgörande misstag.

Efter attacken har Maven uppdaterats med nya funktioner som ska göra det möjligt att utvärdera kvaliteten på de underrättelseuppgifter som matas in i systemet, uppger källorna till Bloomberg.