Inception presenterade Mercury 3 den 19 oktober. Företaget uppger en hastighet på 1 068 token per sekund på Nvidias grafikprocessorer. Token är de små textenheter som en språkmodell arbetar med, inte nödvändigtvis hela ord.
Enligt Inception är modellen fyra till åtta gånger snabbare än de snabbmodeller från OpenAI och Anthropic som företaget jämför med, med likvärdiga eller bättre resultat i flera prestandatester. Det är tillverkarens egna jämförelser, inte ett oberoende test av nördigt.se.
Bearbetar flera delar samtidigt
Mercury använder diffusion för att förfina flera delar av texten parallellt. Det skiljer sig från det vanliga sättet att bygga upp ett svar en textenhet i taget.
Vercel lyfter tekniken för tillämpningar där väntetiden spelar stor roll, exempelvis kundsupport, undervisning och agenter som använder webbläsaren. Modellen har ett kontextfönster på en miljon token, vilket ger plats för långa dokument och samtalshistorik.
Hög genereringshastighet säger däremot inte i sig hur lång tid en hel uppgift tar. En agent kan exempelvis behöva vänta på webbplatser och andra verktyg mellan modellens svar.
Halva priset vid lanseringen
Inceptions ordinarie API-pris är 0,20 dollar per miljon inmatade token och 0,70 dollar per miljon genererade token. Under lanseringserbjudandet halveras priserna till 0,10 respektive 0,35 dollar. Något slutdatum anges inte i lanseringsbeskedet.
Modellen erbjuds via Inceptions eget API. Vercel bekräftar också att Mercury 3 finns i AI Gateway, med samma lanseringsrabatt. Priserna ovan är angivna i amerikanska dollar, inte svenska konsumentpriser.
