Самое заметное заявление на дне туториалов Hot Chips 38 23 августа сделала самая маленькая компания-участник. d-Matrix представила Raptor, инференс-ускоритель на 3D-DRAM, и указала его плотность пропускной способности примерно на уровне 32,6 ГБ/с на мм2 против около 1,5 ГБ/с на мм2 у решений HBM4 — то есть примерно в двадцать раз выше.

Подтверждающие цифры

Энергия на бит на тракте ввода-вывода 3D-DRAM указана на уровне 0,37 пДж/бит против 2,5-5 пДж для систем HBM4, а мощность — 2,96 мВт на ГБ/с против 40 мВт у альтернатив HBM. Ёмкость составляет 32 ГБ на карту, а конфигурация из 72 карт, как утверждается, способна обслуживать frontier-модели с контекстом 1M и обеспечивать около 1000 токенов в секунду на пользователя на модели класса 3T.

В стену, в которую всё это упирается

Micron на соседней сессии попыталась количественно описать проблему. Пропускная способность ускорителей растёт примерно в 3 раза каждые два года, тогда как пропускная способность памяти, подключённой по схеме 2.5D, такой как HBM, за тот же период увеличивается менее чем в 2 раза. Micron также оценила типичный корпус — GPU плюс base die плюс восемь экземпляров HBM4 — более чем в 12 000 мм2, причём кристаллы памяти при 12-high HBM4 могут превышать площадь самого GPU-кристалла более чем в восемь раз. Именно в этот разрыв и пытаются зайти с Raptor.

Что неверно в привычной подаче

Все приведённые выше цифры — это сравнение вендора, представленное самим вендором на туториале, без готового продукта. В материале нет даты запуска, нет графика доступности и нет названного клиента. Соотношение 20x по одному показателю — это не 20x на уровне всей системы: плотность пропускной способности ничего не говорит о выходе годных кристаллов, стоимости за бит, тепловом поведении в реальном корпусе или о том, существует ли программный стек. Подобные сравнения регулярно повторяют так, будто это результаты бенчмарков на поставляемом оборудовании. Это не так — это архитектурные заявления, и корректная реакция состоит в том, чтобы зафиксировать их и дождаться кремния.

Почему это всё же важно

Потому что действующие игроки согласились с самой постановкой проблемы. Samsung, SK hynix и Micron каждая в своём выступлении описывали один и тот же предел, и сам факт того, что претендент может предложить принципиально иную топологию памяти и получить площадку для её представления, уже является сигналом.