Waymo 的工程师周一在 Hot Chips 上展示了其传感器融合处理器。披露的机器学习吞吐量为 160 TOPS(INT8×INT8)和 80 TFLOPS(FP16)。自 8 月 20 日 Waymo 发布一篇介绍该芯片的博客文章以来,外界流传的数字一直是 “超过 1,000 TOPS”,而这一说法也常被解读为 Waymo“与 Nvidia 最新的自动驾驶系统不相上下”。
幻灯片上写了什么
一颗基于 TSMC N5 的 208 mm² 芯片,采用 45 mm × 45 mm 的 FCBGA 封装,TDP 低于 75 W。封装内 LPDDR5x 带宽为 273 GB/s,片上 SRAM 为 64 MB,另有一个 8 MB 寄存器文件。核心阵列中有 16 个处理单元,控制单元里有两颗带向量扩展的 RISC-V CPU 核心,另外还有两颗第三方 GPU 负责点云工作和 FFT。通过 PCIe Gen5 x8 连接主机,支持 25G Ethernet 和 MIPI 传感器输入。它 已经部署 在第六代车辆中,正在实际车队里运行。
传统解读错在什么地方
把数字抬到 1,000 这一档,叠加了三个错误。第一个是语法上的:Waymo 的帖子写的是 “these ASICs”——复数。每辆车里有两颗芯片,媒体报道却把一对写成了一个。第二个是这对芯片的用途。它们存在是为了 冗余:如果其中一颗失效,车辆仍会自行安全停车。你不能把一对故障切换器件相加后当作单颗芯片规格来引用——即便可以,2 × 160 也只有 320 TOPS 的机器学习吞吐量,不是 1,000。第三个是句子本身的限定。Waymo 写道,这些 ASIC 提供了超过 1,000 TOPS,“dedicated to front-end processing and ML models”——也就是把固定功能的像素处理、图像信号处理和时序降噪都算了进去,而不是只算矩阵运算引擎。Hot Chips 将这些部分分开列示。拿这种复合口径去和 Nvidia Thor 级别的机器学习数字比较,本身就不是同一个分母。
更有意思的故事在下面
一颗功耗低于 75 瓦的芯片,从来就不是要在原始吞吐量上挑战一台 500 瓦的驾驶计算机,而这场演讲也明确表明它并非如此:设计目标是 批量大小为 1 时的低延迟。Waymo 打造的是一个小型、低成本、低功耗的传感器前端,并与自家的融合编码器协同设计,而更重的驾驶模型则放在车内别处。这是一项实打实的成就,但也与外界此前的说法不同。Waymo 并没有替换掉大算力计算平台;它只是去掉了像素管道。
仍未被拆分说明的部分
Waymo 尚未拆分说明其自身复合指标中剩余的吞吐量具体由什么构成。这里把这一缺口明确写成缺口,而不是替它补上。
