Nvidia ha pubblicato un post sul blog il 26 agosto alle 21:05 UTC per presentare NVHBM, descritta insieme a NVLink Fusion come memoria ad alta larghezza di banda personalizzata. Letto rapidamente, suggerisce che Nvidia sia entrata nel business della memoria. Letto con attenzione, dice qualcosa di più circoscritto e interessante.

Che cos’è davvero NVHBM

In uno stack convenzionale, il controller di memoria si trova nel die del processore e comunica con HBM attraverso un’interfaccia fisica. La proposta di Nvidia sposta quel controller nel base die dello stesso stack HBM. L’azienda la descrive come "l’istituzione di un’implementazione standard NVHBM, disponibile presso più fornitori di memoria." Nvidia progetta il controller e l’interfaccia; qualcun altro realizza e impila la DRAM. Si tratta di un’operazione di licensing e di specifica, non di produzione.

I tre numeri e il loro denominatore

Il post formula tre affermazioni quantitative: fino al 30% di larghezza di banda in più, 15% di consumo energetico HBM in meno e il rilascio di fino al 25% di area in più sul die di calcolo XPU. Tutte e tre sono espresse rispetto a HBM4E standard. Questo conta per due motivi. Primo, ciascuna è una cifra "fino a", quindi un limite massimo e non un’aspettativa. Secondo, HBM4E è a sua volta un componente prospettico — il confronto è tra una specifica non ancora in commercio e un’altra, non rispetto a una memoria acquistabile oggi.

Cosa sbaglia la lettura più comune

Il riassunto naturale — "Nvidia sta costruendo la propria HBM" — capovolge la situazione. Qui Nvidia sta facendo l’opposto dell’integrazione verticale: sta standardizzando un’interfaccia in modo che più fornitori possano realizzarla, aumentando così il proprio potere negoziale nei confronti dei vendor di memoria proprio perché non dipende da uno solo. Il secondo fraintendimento riguarda la cifra sull’area. "Libera fino al 25% di area in più sul die di calcolo" viene ripreso in alcuni casi come un guadagno di calcolo di circa il 30%, cosa che il post non afferma. L’area di silicio liberata è un’opportunità per aggiungere capacità di calcolo in un progetto futuro, non un aumento di velocità in uno già esistente. Nulla sul mercato diventa più veloce per effetto di questo annuncio.

Cosa manca

Non viene indicato alcun fornitore di memoria. Poiché l’intero concetto dipende dal fatto che "più fornitori di memoria" accettino di realizzare i base die secondo le specifiche di Nvidia, l’assenza di un partner nominato tra Samsung, SK hynix o Micron è la lacuna più sostanziale nell’annuncio. Non c’è una data di commercializzazione e non c’è un prodotto in cui appare. L’unica parte nominata è Amazon's Annapurna Labs, descritta come la prima a lavorare su NVHBM insieme a NVLink Fusion — una collaborazione sulla tecnologia, non una distribuzione già impegnata.

Perché Nvidia vuole spostare il controller

La larghezza di banda della memoria, non l’aritmetica, è il vincolo nell’inferenza di grandi modelli, e l’interfaccia fisica tra processore e memoria assorbe una quota crescente sia di area del die sia di budget energetico. Possedere la specifica del controller consente a Nvidia di adattare quell’interfaccia alle proprie architetture, mantenendo al contempo più fonderie in competizione per fornire i componenti. Se la specifica viene adottata, il guadagno strategico è duraturo. Se non viene adottata, non è stato prodotto nulla e non è stato perso nulla.