AI-chattbotar genomskådar utländsk propaganda i tre av fyra fall

Populära AI-chattbotar klarar i hög grad av att identifiera och ifrågasätta propaganda från Kina, Iran och Ryssland. Det visar ett test som amerikanska public service-kanalen NPR genomfört tillsammans med desinformationsföretaget New Guard.

Så gick testet till

Testet byggde på 15 falska narrativ med utländskt ursprung. NPR och New Guard ställde totalt 30 frågor till fem chattbotar, bland annat ChatGPT, Gemini, Copilot, Grok och Claude.

Resultatet: chattbotarna avfärdade felaktigheterna korrekt i ungefär tre av fyra fall. Det innebär att de flesta av de testade systemen hanterade propagandan på ett sätt som stämmer överens med faktabaserad information.

Sökmotorernas AI-sammanfattningar klarade sig sämre

Testet visade också på en tydlig skillnad mellan fristående chattbotar och de AI-sammanfattningar som visas högst upp i sökmotorer. De senare presterade märkbart sämre på att genomskåda de falska narrativen.

Bing stod för den svagaste prestationen bland de testade sökmotorerna, enligt NPR:s rapport. Det väcker frågor om risken med AI-integrerade sökmotorer som miljontals användare dagligen vänder sig till för snabba svar, utan att nödvändigtvis granska källorna bakom sammanfattningarna.

Resultaten pekar på att valet av AI-verktyg spelar roll när det gäller motståndskraft mot desinformation, och att chattbotar i nuläget verkar bättre rustade än sökmotorernas inbyggda AI-funktioner för att hantera utländsk påverkan.