Nvidia 于 8 月 26 日 21:05 UTC 发布了一篇博客文章,介绍 NVHBM,并将其与 NVLink Fusion 一起描述为定制高带宽内存。如果只快速浏览,文章看起来像是在说 Nvidia 现在进入了内存业务。仔细阅读后会发现,事情要窄得多,也更有意思。

NVHBM 到底是什么

在传统堆栈中,内存控制器位于处理器裸片上,并通过物理接口与 HBM 通信。Nvidia 的方案是把这个控制器移到 HBM 堆栈自身的基础裸片 中。公司将其描述为“建立一种标准化的 NVHBM 实现,可由多家内存供应商提供”。Nvidia 设计控制器和接口;由其他厂商制造并堆叠 DRAM。这是一次授权和标准规范上的布局,不是制造布局。

三个数字,以及它们的分母

这篇文章提出了三个量化说法:内存带宽最高提升 30%HBM 功耗降低 15%,以及在 XPU 计算裸片上释放出最多 25% 的额外面积。这三个数字都以标准 HBM4E 为对比对象。这一点有两层重要性。首先,三者都使用了“最高”,这意味着上限,而不是预期值。其次,HBM4E 本身也是一种前瞻性产品——这里比较的是两个都尚未出货的规格,而不是与今天任何人都能买到的内存相比。

常见说法错在哪里

最自然的概括——“Nvidia 正在打造自己的 HBM”——实际上颠倒了关系。Nvidia 在这里做的正相反:它在标准化一个接口,让多家供应商都能按此生产,这恰恰因为它不依赖单一供应商而增强了对内存厂商的议价能力。第二个误读是面积数字。“在计算裸片上释放最多 25% 的面积”在一些地方被转述为大约 30% 的计算性能提升,但文章并没有这么说。被释放出来的硅面积意味着未来设计中可以加入更多计算资源,而不是现有产品立刻提速。这个公告不会让市场上的任何东西因此变快。

缺少了什么

文章没有点名任何内存供应商。既然整个概念依赖于“多家内存供应商”同意按照 Nvidia 的规格制造基础裸片,那么来自 Samsung、SK hynix 或 Micron 中任何一家单独合作伙伴的缺席,都是这项公告中最实质性的空缺。文章没有给出出货日期,也没有说明会出现在哪款产品中。唯一被点名的一方是Amazon 的 Annapurna Labs,其被描述为在 NVLink Fusion 之外率先参与 NVHBM 开发——这是对这项技术的协作,而不是已经确定的部署。

Nvidia 为何要把控制器移出去

对于大模型推理而言,瓶颈在于内存带宽,而不是算术能力;处理器与内存之间的物理接口正消耗越来越多的裸片面积和功耗预算。掌握控制器规格,意味着 Nvidia 可以根据自身架构调校这一接口,同时让多家晶圆厂竞争供应相关部件。如果该规格被采纳,战略收益将是持久的;如果没有被采纳,那么就不会有任何东西被制造出来,也不会有任何损失。