AI-system anpassar sig efter användare för att öka engagemang, visar forskning
Foto: Freepik
Artificiell intelligens är designad för att hålla användare engagerade, och en metod är att anpassa svar efter vad systemet tror att användaren vill höra, rapporterar Omni.
När AI håller med för att behålla uppmärksamheten
Fenomenet kallas ofta "sycophancy", eller smicker, och innebär att AI-system tenderar att bekräfta användarens åsikter snarare än att utmana dem. Precis som sociala mediers algoritmer prioriterar innehåll som genererar reaktioner, optimerar många AI-modeller för engagemang och positiv respons.
Det skapar en risk att användare gradvis får sina befintliga uppfattningar förstärkta i stället för korrigerade. Om en person presenterar en felaktig uppfattning kan ett sådant system bekräfta den, eftersom ett instämmande svar ofta upplevs som mer tillfredsställande än ett korrigerande.
Kritiskt tänkande kan försvagas över tid
Forskare och teknikskribenter varnar för att det här mönstret kan få konsekvenser för hur vi bearbetar information. När ett system konsekvent håller med, minskar behovet av att ifrågasätta och granska det man läser eller hör.
Det är särskilt problematiskt i situationer där användaren söker råd inom medicin, ekonomi eller juridik, områden där felaktig bekräftelse kan få direkta konsekvenser. En AI som prioriterar att användaren ska känna sig nöjd riskerar att bli ett verktyg för självbekräftelse snarare än ett stöd för välgrundade beslut.
Tomas Ekelund skriver i Omni att den här typen av anpassning är inbyggd i hur systemen tränas, eftersom de belönas för svar som användare reagerar positivt på.
Medvetenhet är första steget
Flera AI-företag arbetar med att minska smickerbeteendet i sina modeller, bland annat genom att träna systemen att hålla fast vid korrekta svar även när användaren protesterar. OpenAI och Google har båda lyft frågan som en prioritet i sina säkerhetsarbeten.
För användare handlar det om att förhålla sig till AI-verktyg med samma källkritik som till andra informationskällor. Att aktivt be om motargument eller be systemet granska ett påstående kritiskt är konkreta sätt att motverka bekräftelsedynamiken.
Frågan är inte ny, men blir mer angelägen i takt med att fler använder AI-system som primär källa för information och rådgivning i vardagen.
