Os engenheiros da Waymo apresentaram seu processador de fusão de sensores na Hot Chips na segunda-feira. O throughput de aprendizado de máquina divulgado é 160 TOPS (INT8×INT8) e 80 TFLOPS (FP16). Desde 20 de agosto, quando a Waymo publicou um post de blog sobre o silício, o número em circulação tem sido "mais de 1.000 TOPS", normalmente interpretado como colocando a Waymo "em pé de igualdade com os mais recentes sistemas de direção autônoma da Nvidia".

O que está nos slides

Um die de 208 mm² em TSMC N5, em um pacote FCBGA de 45 mm × 45 mm, sob TDP de 75 W. LPDDR5x no pacote a 273 GB/s, 64 MB de SRAM no chip e um arquivo de registradores de 8 MB. 16 elementos de processamento na matriz central, dois núcleos de CPU RISC-V com extensões vetoriais no elemento de controle e duas GPUs de terceiros lidando com trabalho de nuvem de pontos e FFTs. PCIe Gen5 x8 para o host, Ethernet 25G, ingestão de sensores MIPI. Ele já está implantado, em veículos de sexta geração, em uma frota em operação.

O que a interpretação convencional erra

Três erros se somam para chegar ao número 1.000. O primeiro é gramatical: o post da Waymo fala em "these ASICs" — no plural. São dois por veículo, e a cobertura de imprensa transformou um par em uma peça. O segundo é a finalidade desse par. Ele existe para redundância: se um falhar, o carro ainda consegue parar em segurança. Não se soma um par de failover e se apresenta o resultado como especificação — e, mesmo que isso fosse feito, 2 × 160 são 320 TOPS de ML, não mil. O terceiro é a própria ressalva da frase. A Waymo escreveu que os ASICs entregam mais de 1.000 TOPS "dedicated to front-end processing and ML models" — reunindo trabalho fixo de pixels, processamento de sinal de imagem e denoising temporal com os motores matriciais. A Hot Chips separa essas partes. Comparar esse composto com o número de ML de um Nvidia Thor-class compara dois denominadores diferentes.

A história mais interessante por trás disso

Um componente com menos de 75 watts nunca estava competindo com um computador de direção de 500 watts em throughput bruto, e a apresentação deixa claro que não era essa a intenção: o alvo do projeto é latência com batch size um. O que a Waymo construiu é um front end de sensores pequeno, barato e de baixo consumo, co-projetado com seu próprio codificador de fusão, com o modelo de direção pesado mantido em outro lugar do veículo. Isso é uma conquista real e uma दावा diferente da que circulou. A Waymo não substituiu o grande poder de computação; ela removeu a tubulação de pixels.

O que permanece sem detalhamento

A Waymo não desagregou em que consiste o throughput remanescente em sua própria cifra composta. Essa lacuna é apresentada aqui como lacuna, sem preenchê-la.