L’affermazione più sorprendente del tutorial day di Hot Chips 38 del 23 agosto è arrivata dalla più piccola delle aziende presenti. d-Matrix ha descritto Raptor, un acceleratore di inferenza 3D-DRAM, e ha indicato la sua densità di banda a circa 32,6 GB/s per mm2 contro circa 1,5 GB/s per mm2 per i componenti HBM4 — un fattore di circa venti.

I numeri a supporto

L’energia per bit sul percorso I/O 3D-DRAM è indicata a 0,37 pJ/bit, contro 2,5-5 pJ per i sistemi HBM4, e la potenza a 2,96 mW per GB/s contro 40 mW per le alternative HBM. La capacità è di 32GB per scheda, con una configurazione da 72 schede descritta come in grado di ospitare modelli frontier con contesto da 1M e sostenere circa 1000 token al secondo per utente su un modello di classe 3T.

Il muro contro cui è indirizzato

Micron aveva usato una sessione adiacente per quantificare il problema. La capacità di throughput degli acceleratori cresce di circa 3x ogni due anni, mentre la banda della memoria collegata in 2.5D, come HBM, aumenta di meno di 2x nello stesso periodo. Micron ha inoltre collocato un package tipico — GPU più base die più otto istanze HBM4 — a oltre 12.000 mm2, con un silicio di memoria in grado di superare otto volte l’area del die GPU stesso con HBM4 a 12 stack. È questo il divario in cui Raptor viene proposto.

Ciò che il quadro comune sbaglia

Tutti i dati sopra sono un confronto tra vendor presentato dal vendor, in una sessione tutorial, senza alcun prodotto in commercio associato. La disclosure non contiene nessuna data di lancio, nessuna tempistica di disponibilità e nessun cliente nominato. Un rapporto 20x su una singola metrica non è un sistema 20x: la densità di banda non dice nulla sul rendimento, sul costo per bit, sul comportamento termico in un chassis reale o sul fatto che lo stack software esista. Confronti di questo tipo vengono spesso ripetuti come se fossero risultati di benchmark contro hardware già in vendita. Non lo sono: sono affermazioni architetturali, e l’atteggiamento corretto è prenderne nota e attendere il silicio.

Perché conta comunque

Perché gli incumbenti hanno concordato con il presupposto. Samsung, SK hynix e Micron hanno ciascuna dedicato il proprio slot a una qualche versione dello stesso vincolo, e il fatto che uno sfidante possa proporre una topologia di memoria fondamentalmente diversa e ottenere ascolto è di per sé il segnale.