Open AI testar hur bra AI klarar vardagliga uppgifter

Open AI har tagit fram ett internt test som mäter hur bolagets AI-modeller hanterar vardagssysslor som att planera måltider och göra en budget. Det rapporterar CNN. Enligt bolaget presterar den senaste modellen GPT-6 Astra betydligt bättre än föregångaren GPT-5.2.

Vilka uppgifter testas?

Testet omfattar vardagliga uppgifter som människor ofta sköter själva. Open AI nämner bland annat shopping, budgetarbete, att fylla i formulär på nätet och att fylla en varukorg.

Open AI presenterade testet på måndagen, tillsammans med forskning om hur bolagets egna modeller klarade det. Enligt bolaget fick GPT-6 Astra:

93,1 procent på att hitta rätt förskola efter en flytt
98 procent på att hantera frivilliga i ett lokalsamhälle som förbereder sig för en översvämning
90,4 procent på att skapa en måltidsplan för en förälder som nyligen fått diabetes

Varför tar Open AI fram testet?

Bolaget vill förstå hur människor använder AI och vad de önskar hjälp med. Omkring 4 000 Chat GPT-användare fick svara på en enkät.

Jenny Yang, forskare på Open AI, säger att antalet användare gör det viktigt att fånga de olika användningsområdena.

– Det finns många exempel på hur AI kan hjälpa människor att göra saker som de annars inte hade klarat av, eller helt enkelt göra vardagen enklare, säger Yang.

Hon uppger till CNN att bolaget också vill veta vad modellerna ännu inte är bra på, och hur tekniken kan bli bättre för användarna.

Hur svårt är det att mäta vardagsnytta?

Standardiserade tester används av AI-bolag som vägledning när de tränar och optimerar sina modeller. Förra året släppte Open AI testet GDPVal, som mäter arbetsrelaterade färdigheter inom bland annat tillverkning, offentlig förvaltning, finans och försäljning.

Att mäta vardagsuppgifter är svårare, skriver CNN. Stegen som krävs för att handla mat eller välja förskola är breda och vaga, och resultaten kan bedömas subjektivt. Människor använder dessutom AI på olika sätt, och svaren varierar med den information som ges.

Open AI började med stora tidsanvändningsundersökningar, bland annat den amerikanska American Time Use survey från Bureau of Labor Statistics och Storbritanniens Multinational Time Use Survey. Problemet var att flera av de vanligaste aktiviteterna, som att sova och äta, inte är uppgifter där AI kan hjälpa till.

Hård konkurrens om AI-assistenter

Testet kan bli viktigt för Open AI i arbetet med att göra Chat GPT till en assistent som utför uppgifter åt användaren, snarare än ett verktyg som skapar innehåll. Enligt CNN möter bolaget hård konkurrens från Meta, Anthropic och Google, som alla utvecklar AI-agenter för uppgifter i verkliga livet.