A Samsung apresentou seu trabalho de processamento em memória no Hot Chips, e a reportagem publicada no início de 29 de agosto quantifica os dois lados da troca. O número de largura de banda percorreu o caminho; o custo arquitetural, não.

Onde está a largura de banda

O grande múltiplo compara a largura de banda disponível para unidades de computação dentro do dispositivo de memória com a largura de banda que o mesmo dispositivo expõe por sua interface externa. Esse é todo o sentido de colocar computação na memória: o barramento interno amplo é o recurso, e ele sempre esteve lá — o que muda é que agora unidades aritméticas ficam do lado mais próximo dele. Não se trata de largura de banda extra entregue ao processador hospedeiro.

O custo pago pelo host

Para que o esquema funcione, a memória que armazena operandos de PIM precisa ser mapeada como não cacheável e não especulativa. Uma cópia em cache ficaria desatualizada no momento em que a unidade na memória a alterasse, e uma leitura especulativa poderia disparar um cálculo que, do ponto de vista arquitetural, nunca ocorreu. Assim, o processador que acessa essa região perde caching, perde prefetch por hardware e não pode reordenar essas acessos. Três dos mecanismos que tornam os núcleos modernos rápidos são desativados exatamente para os dados que estão sendo acelerados.

O que a formulação comum erra

A cobertura tratou o número interno como um ganho em nível de sistema — como se uma máquina passasse a ter oito vezes mais largura de banda de memória. Não é isso. A afirmação correta é mais restrita e ainda assim interessante: para operações limitadas por largura de banda e aritmeticamente triviais, sobretudo o trabalho elementwise e de redução na etapa de decode de LLMs, mover a operação para os dados evita uma ida e volta que, de outra forma, seria dominada pelo barramento externo. Para qualquer coisa intensiva em computação, PIM é o lugar errado e o cache desativado é perda pura.

A vazão em contexto

A computação por pacote exposta externamente é de alguns INT8 TOPS; um conjunto de oito chega a dezenas baixas de TOPS — comparável ao NPU de um processador de laptop convencional. A característica distintiva não é a vazão bruta, mas o fato de que a vazão está acoplada à capacidade total de memória desses dispositivos, que é justamente onde o decode de modelos grandes realmente pesa.