Microsoft ha fornito a Maia 200 la sua prima divulgazione architetturale completa a Hot Chips martedì pomeriggio: un die da 820 mm² con 140 miliardi di transistor su TSMC 3nm, con un consumo di 750 W, accreditato di 10.000 TFLOPS di FP4 e mostrato in una configurazione da 128 rack e circa 6.000 chip.

Un pezzo di silicio davvero grande

820 mm² è una dimensione da reticle, vicina al massimo che un singolo die può raggiungere. Il networking è insolito e deliberato: un NIC personalizzato e un Ethernet unificato, con nessun fabric separate scale-out, otto linee Ethernet per SoC suddivise su quattro piani di rete. Microsoft punta sul fatto che un’unica rete basata su Ethernet possa trasportare sia il traffico scale-up sia quello scale-out.

Ciò che la cornice comune sbaglia

Due cose. Il dato di compute è FP4: 10 PFLOPS di calcolo a quattro bit sono approssimativamente paragonabili ai 13,4 PFLOP/s di MXFP4 di OpenAI, e non sono comparabili a nessun valore FP8 o BF16. Non è stato fornito alcun dato dense. Ma il dato davvero importante è la memoria, e per Microsoft va nella direzione sbagliata. Maia 200 usa HBM3e, mentre i chip con cui è stato presentato nello stesso pomeriggio usano HBM4. Microsoft ha reso noto la banda — 7 TB/s — ma non la capacità, solo il numero di stack. Citare 7 TB/s accanto ai 15,4 TB/s di OpenAI senza segnalare la generazione della memoria è l’errore da evitare: sei stack di HBM3e sono un sottosistema di memoria di generazione 2024 su un acceleratore del 2026, e la capacità è il dato che decide quali modelli possono entrarci.

“Preparing to deploy” non significa già distribuito

Microsoft ha descritto il chip come in fase di preparazione per Azure. È una dichiarazione diversa da quella di OpenAI, fatta ore dopo, secondo cui Codex è già in esecuzione su Jalapeño. La configurazione da 128 rack e 6.000 chip è una configurazione dimostrata, non una flotta installata.

E un successore potrebbe essere già in arrivo

Secondo resoconti di inizio agosto, Microsoft starebbe passando a Maia 300 con una finestra temporale a settembre. Se così fosse, Maia 200 sarebbe una generazione di breve durata, con memoria più vecchia rispetto ai pari livello, ancora pre-deployment, mentre l’inquilino per cui è stato in parte costruito usa già il proprio silicio.