Microsoft presenterade Azure Maia 300 den 12 oktober. Systemet är inriktat på inferens, alltså arbetet som sker när en redan tränad AI-modell behandlar en förfrågan och producerar ett svar.
Målet är att få ut mer användbart AI-arbete ur datacentrens tillgängliga elkraft. Microsoft räknar med att Maia 300 ska leverera omkring 40 procent fler token per megawatt än ledande GPU-baserade system. Token är de textdelar och andra informationsenheter som AI-modeller bearbetar.
Siffran är Microsofts egen framåtblickande jämförelse. Den betyder inte att ett enskilt chip redan har visats vara 40 procent snabbare i alla uppgifter.
Hela systemet ska göra skillnaden
Microsoft utvecklar både kretsarna, minnet, nätverket och programvaran som ett sammanhängande system. En viktig del av konstruktionen är att minska energin som går åt till att flytta data mellan olika delar av hårdvaran.
Maia 300 använder HBM4-minne med en angiven sammanlagd minnesbandbredd på 18 terabyte per sekund per accelerator. Ett fullt utrustat rack, ett serverskåp, rymmer 96 acceleratorer.
Microsoft uppger att ett sådant rack kan ge upp till sju gånger så hög tokenkapacitet som ett Maia 200-rack. Jämförelsen gäller alltså hela serverskåpet, inte att varje Maia 300-chip är sju gånger snabbare än föregångaren. Vätskekylning ska ta hand om över 80 procent av rackets värmelast.
Driftsättning under 2027
Maia 200 används redan för Microsofts egna arbetslaster, bland annat Copilot. Maia 300 ska börja tas i produktionsdrift under 2027, som en del av en större utbyggnad av Maia-plattformen.
För användare av Microsofts AI-tjänster handlar nyheten därför främst om infrastrukturen bakom tjänsterna. Mer kapacitet per megawatt skulle kunna göra det lättare att möta efterfrågan, men beskedet innebär inte i sig lägre abonnemangspriser eller snabbare svar för en viss användare.
Effektivare hårdvara behöver heller inte betyda lägre total elanvändning om datacentren samtidigt byggs ut. Det som Microsoft presenterar här är en plan för högre kapacitet i förhållande till tillgänglig effekt.
