Hur bra är en AI-assistent egentligen på att hjälpa till med vardagslivet? Den frågan vill OpenAI besvara med LifeVal, en utvärdering som presenterades den 2 november.
I stället för att enbart testa en modells kunskaper eller förmåga att lösa akademiska problem riktar LifeVal in sig på uppgifter som människor faktiskt behöver hjälp med: att hitta barnomsorg, organisera hushållsadministration, planera en budget, handla eller få kontakt med offentliga tjänster.
Nästan 4 000 personer i underlaget
För att välja relevanta uppgifter utgick OpenAI från två större studier av hur människor använder sin tid, bland annat American Time Use Survey. Företaget kompletterade dem med en egen demografiskt representativ undersökning med 3 995 svarande om vad de helst skulle vilja få hjälp med av en personlig assistent.
Resultatet är en uppsättning scenarier inom områden som omsorg, utbildning, ekonomi, shopping, hälsa och administrativa ärenden.
OpenAI visar bland annat exempel där en modell jämför förskolor inför en flytt, hjälper till att organisera frivilliga inför en översvämning och planerar vardagliga aktiviteter. De procentsiffror som presenteras för enskilda uppgifter är OpenAI:s egna testresultat och ska inte tolkas som garantier för hur bra en assistent fungerar i varje verklig situation.
Från svar till handling
LifeVal speglar en tydlig förändring i hur AI-tjänster utvecklas. En användbar assistent ska inte bara kunna ge instruktioner, utan också använda verktyg och utföra flera moment i ett arbetsflöde. Webbläsare, datoranvändning och anslutningar till andra tjänster blir därmed viktiga delar av förmågan.
Samtidigt återstår frågor om hur väl testresultaten motsvarar vardagen. OpenAI har själv utvecklat utvärderingen och redovisar sina egna modellers resultat. LifeVal innebär inte att alla uppgifter kan utföras autonomt eller att funktionerna är tillgängliga för alla ChatGPT-användare.
