Lors de la session AI 1 à Hot Chips, mardi, deux ingénieurs de Nvidia ont présenté le Groq 3 LPU — puis ont expliqué que Nvidia ne le fabrique pas. Les éléments intégrés aux racks de génération Vera Rubin sont achetés à Groq, que Nvidia est en train d’absorber dans ce que l’intervention a décrit comme un acqui-hire plus large.

Les chiffres, et leur vrai dénominateur

Un rack de 256 LPUs délivre 315 PFLOPS de FP8, embarque 128 Go de SRAM et soutient 40 PB/s de bande passante SRAM agrégée, tout en exécutant 11 000 jetons de décodage par seconde sur un modèle de 31 milliards de paramètres. La TDP par LPU et le nœud de gravure n’ont pas été divulgués.

Ce que la présentation courante passe à côté

Chaque chiffre mis en avant ici est à l’échelle du rack et sera lu comme s’il s’agissait de l’échelle de la puce. « 128 Go de SRAM » évoque un cache colossal sur la puce ; divisé par 256, cela représente environ un demi-gigaoctet par LPU, sans aucune HBM — ce qui correspond au compromis connu de Groq, sans surprise, mais implique qu’un modèle doit être réparti sur des centaines de puces pour tenir. Un rack de 128 Go ne peut pas contenir un grand modèle plus son KV cache comme peut le faire une seule puce de 216 Gio de HBM4. « 40 PB/s » relève du même calcul appliqué à la bande passante : la somme de 256 matrices SRAM distinctes, sans rien dire de la vitesse à laquelle les données circulent entre les puces, qui est la contrainte déterminante dans une conception sans HBM. Et 315 PFLOPS correspond au pic en FP8, tandis que la démonstration du débit de jetons a été réalisée sur un modèle de 31 milliards de paramètres — petit selon les standards de 2026, et dimensionné pour tenir dans l’enveloppe SRAM.

La deuxième distorsion est d’ordre corporate

Ce n’est pas « le LPU de Nvidia ». L’intervention précise officiellement que Nvidia ne les produit pas actuellement, qu’elle développe le sien, et qu’elle achète ceux-ci à Groq. Présenter cela comme un lancement de produit Nvidia inverse ce qui a réellement été dit depuis la scène.

Pourquoi Nvidia ferait-elle cela

Les GPU denses ne sont pas adaptés au décodage à faible latence : la tâche est limitée par la mémoire, les tailles de lot sont réduites et la latence de la HBM domine. Une architecture entièrement en SRAM vise précisément ce point. Voir Nvidia monter sur scène pour présenter la réponse d’un concurrent — tout en achetant les puces et en recrutant l’équipe — constitue un aveu plus net de l’écart que n’importe quelle diapositive de feuille de route.