La déclaration la plus frappante de la journée de tutoriels de Hot Chips 38, le 23 août, est venue de la plus petite entreprise présente. d-Matrix a présenté Raptor, un accélérateur d’inférence en 3D-DRAM, et a situé sa densité de bande passante à environ 32,6 GB/s par mm2, contre quelque 1,5 GB/s par mm2 pour des puces HBM4 — soit un facteur d’environ vingt.

Les chiffres à l’appui

L’énergie par bit sur le trajet d’E/S de la 3D-DRAM est donnée à 0,37 pJ/bit, contre 2,5-5 pJ pour les systèmes HBM4, et la puissance à 2,96 mW par GB/s contre 40 mW pour les alternatives HBM. La capacité est de 32GB par carte, avec une configuration de 72 cartes décrite comme hébergeant des modèles frontier à 1M de contexte et soutenant autour de 1000 tokens par seconde et par utilisateur sur un modèle de classe 3T.

Le mur visé

Micron avait utilisé une session adjacente pour quantifier le problème. Le débit des accélérateurs croît d’environ 3x tous les deux ans, tandis que la bande passante des mémoires attachées en 2,5D, comme HBM, progresse à moins de 2x sur la même période. Micron a également estimé qu’un boîtier type — GPU plus base die plus huit instances HBM4 — dépasse 12 000 mm2, la mémoire pouvant à elle seule dépasser huit fois la surface du die GPU avec de la HBM4 12-high. C’est dans cet écart que Raptor entend se positionner.

Ce que le cadrage courant ne dit pas

Tous les chiffres ci-dessus relèvent d’une comparaison fournie par le fournisseur, lors d’une session de tutoriel, sans produit commercialisé associé. La présentation ne comporte aucune date de lancement, aucun calendrier de disponibilité et aucun client nommé. Un ratio de 20x sur une métrique unique ne signifie pas un système 20x : la densité de bande passante ne dit rien du rendement, du coût par bit, du comportement thermique dans un châssis réel, ni de l’existence d’une pile logicielle. Ce type de comparaison est régulièrement repris comme s’il s’agissait de résultats de benchmark face à du matériel commercialisé. Ce n’en sont pas — ce sont des affirmations architecturales, et la bonne posture consiste à les signaler et à attendre le silicium.

Pourquoi cela compte malgré tout

Parce que les acteurs en place ont validé le constat. Samsung, SK hynix et Micron ont chacun consacré leur créneau à une version du même goulot d’étranglement, et le simple fait qu’un challenger puisse proposer une topologie mémoire fondamentalement différente et être entendu est en soi un signal.