Nvidia a publié le 26 août à 21:05 UTC un billet de blog présentant NVHBM, décrit, aux côtés de NVLink Fusion, comme une mémoire à bande passante élevée sur mesure. Lu rapidement, le texte laisse entendre que Nvidia se lance désormais dans la mémoire. Lu attentivement, il dit quelque chose de plus limité et de plus intéressant.

Ce qu'est réellement NVHBM

Dans une architecture conventionnelle, le contrôleur mémoire se trouve sur le die du processeur et communique avec la HBM via une interface physique. La proposition de Nvidia déplace ce contrôleur dans le base die de la pile HBM elle-même. L'entreprise la présente comme « l'établissement d'une implémentation standard de NVHBM, disponible auprès de plusieurs fournisseurs de mémoire ». Nvidia conçoit le contrôleur et l'interface ; quelqu'un d'autre fabrique et empile la DRAM. Il s'agit d'une stratégie de licence et de spécification, pas de fabrication.

Les trois chiffres, et leur dénominateur

Le billet avance trois affirmations quantitatives : jusqu'à 30 % de bande passante mémoire en plus, 15 % de consommation d'énergie HBM en moins et la libération de jusqu'à 25 % de surface supplémentaire sur le die de calcul XPU. Les trois sont formulées par rapport à la HBM4E standard. Cela compte à double titre. D'abord, chacun de ces chiffres est un « jusqu'à », donc un plafond et non une attente. Ensuite, la HBM4E est elle-même un composant prospectif — la comparaison porte sur une spécification non commercialisée face à une autre, et non sur une mémoire que l'on peut acheter aujourd'hui.

Ce que le cadrage courant interprète mal

Le résumé naturel — « Nvidia fabrique sa propre HBM » — inverse la logique. Nvidia fait ici l'inverse d'une intégration verticale : l'entreprise standardise une interface pour que plusieurs fournisseurs puissent la fabriquer, ce qui accroît son levier sur les fournisseurs de mémoire précisément parce qu'elle ne dépend pas d'un seul. La deuxième erreur de lecture concerne la surface. « Libère jusqu'à 25 % de surface supplémentaire sur le die de calcul » est parfois repris comme un gain de calcul d'environ 30 %, ce que le billet ne revendique pas. Une surface de silicium libérée offre la possibilité d'ajouter du calcul dans une future conception, pas d'accélérer une conception existante. Rien sur le marché ne devient plus rapide à cause de cette annonce.

Ce qui manque

Aucun fournisseur de mémoire n'est nommé. Étant donné que tout le concept dépend du fait que « plusieurs fournisseurs de mémoire » acceptent de construire des base die selon la spécification de Nvidia, l'absence d'un seul partenaire nommé parmi Samsung, SK hynix ou Micron est la lacune la plus substantielle de l'annonce. Aucune date de commercialisation n'est indiquée et aucun produit ne l'intègre. La seule partie nommée est Amazon's Annapurna Labs, présenté comme le premier à travailler sur NVHBM aux côtés de NVLink Fusion — une collaboration sur la technologie, et non un déploiement engagé.

Pourquoi Nvidia veut déplacer le contrôleur

La bande passante mémoire, et non l'arithmétique, constitue la contrainte pour l'inférence des grands modèles, et l'interface physique entre le processeur et la mémoire occupe une part croissante à la fois de la surface du die et du budget énergétique. Détenir la spécification du contrôleur permet à Nvidia d'ajuster cette interface à ses propres architectures tout en laissant plusieurs fonderies se concurrencer pour fournir les composants. Si la spécification est adoptée, le gain stratégique est durable. Si elle ne l'est pas, rien n'a été fabriqué et rien n'a été perdu.