Det är en sak för en AI-modell att svara på frågor om biologi. Det är en annan att tolka ett oskarpt mikroskopfoto, läsa av mätvärden och avgöra om ett experiment faktiskt ger stöd för en viss slutsats.
OpenAI har därför, tillsammans med bioteknikföretaget Ligo, tagit fram BioBasicsBench. Det är ett nytt test med 100 uppgifter som bygger på verkligt laboratoriematerial, bland annat bilder från mikroskop, DNA-geler, instrumentfiler och anteckningar från experiment.
Uppgifterna ska pröva om AI-agenter kan tolka resultat, upptäcka möjliga fel och förstå när underlaget inte räcker för en säker slutsats. Materialet och bedömningskriterierna har granskats av laboratorieforskare, enligt OpenAI.
GPT-6 Astra högst i jämförelsen
OpenAI har utvärderat sju modeller i totalt 37 kombinationer av modell och resonemangsnivå, med fem försök per uppgift.
Vid den redovisade nivån xhigh, där modellen får lägga mer beräkning på resonemang, fick GPT-6 Astra i genomsnitt 66,7 procent av de möjliga poängen. Motsvarande resultat för GPT-5.6 Sol var 43,8 procent.
Det handlar om ett genomsnittligt poängresultat utifrån flera bedömningskriterier, inte om att Astra klarade exakt 66,7 procent av uppgifterna. Testet mäter heller inte om modellen själv kan utföra laborationerna fysiskt.
OpenAI beskriver framstegen som särskilt tydliga när modellerna behöver tolka flera typer av data samtidigt. Samtidigt finns det fortfarande brister i bildtolkning, kontroll av experiment och förståelsen av sammanhang.
BioBasicsBench är framtaget och rapporterat av OpenAI och dess samarbetspartner. Det är därför viktigt att skilja resultaten från en oberoende bekräftelse av hur användbar tekniken är i praktiskt laboratoriearbete.
