Na sessão AI 1 do Hot Chips, na terça-feira, dois engenheiros da Nvidia apresentaram a Groq 3 LPU — e então explicaram que a Nvidia não a fabrica. As peças que entram nos racks da geração Vera Rubin são compradas da Groq, que a Nvidia está absorvendo em um movimento descrito na apresentação como um acquihire mais amplo.

Os números, e o verdadeiro denominador

Um rack com 256 LPUs entrega 315 PFLOPS de FP8, traz 128 GB de SRAM e sustenta 40 PB/s de largura de banda agregada de SRAM, executando 11.000 tokens de decode por segundo em um modelo de 31 bilhões de parâmetros. O TDP por LPU e o nó de processo não foram informados.

O que a leitura comum interpreta errado

Cada um dos números de destaque aqui é de escala de rack e será lido como se fosse de escala de chip. "128 GB de SRAM" soa como um enorme cache on-die; dividido por 256, isso equivale a cerca de meio gigabyte por LPU, sem qualquer HBM — o que é o compromisso conhecido da Groq, não uma surpresa, mas significa que um modelo precisa ser repartido entre centenas de chips para caber. Um rack de 128 GB não consegue abrigar um modelo grande mais o KV cache da forma como um único componente de 216 GiB de HBM4 consegue. "40 PB/s" é a mesma aritmética aplicada à largura de banda: a soma de 256 matrizes de SRAM separadas, sem dizer nada sobre a velocidade com que os dados trafegam entre os chips, que é a restrição determinante em um projeto só com SRAM. E 315 PFLOPS é o pico em FP8, com a demonstração da taxa de tokens executada em um modelo de 31B — pequeno para os padrões de 2026, e dimensionado para caber no orçamento de SRAM.

A segunda distorção é corporativa

Isso não é "a LPU da Nvidia". A apresentação diz, em registro, que a Nvidia não produz LPUs no momento, que a sua própria solução ainda está em desenvolvimento e que está comprando essas unidades da Groq. Relatar isso como o lançamento de um produto da Nvidia inverte o que foi realmente dito no palco.

Por que a Nvidia faria isso

GPUs densas são a forma errada para decode de baixa latência: o trabalho é limitado por memória, os tamanhos de lote são pequenos e a latência da HBM domina. Uma arquitetura baseada apenas em SRAM ataca exatamente isso. A Nvidia, no palco de uma conferência, apresentando a resposta de uma concorrente — enquanto compra as peças e contrata a equipe — é uma admissão do gap mais clara do que qualquer slide de roadmap.