Nvidia опубликовала 26 августа в 21:05 UTC запись в блоге, представив NVHBM, который вместе с NVLink Fusion описывается как кастомная высокоскоростная память. Если читать бегло, кажется, что Nvidia теперь занялась рынком памяти. Если читать внимательно, речь идет о куда более узкой и интересной вещи.

Что такое NVHBM на самом деле

В обычной архитектуре контроллер памяти находится на кристалле процессора и обменивается данными с HBM через физический интерфейс. Предложение Nvidia переносит этот контроллер в базовый кристалл самого стека HBM. Компания описывает это как «создание стандартной реализации NVHBM, доступной от нескольких поставщиков памяти». Nvidia проектирует контроллер и интерфейс; кто-то другой производит и собирает DRAM в стек. Это история про лицензирование и спецификацию, а не про собственное производство.

Три цифры и их знаменатель

В публикации приводятся три количественных заявления: до 30% более высокая пропускная способность памяти, на 15% ниже энергопотребление HBM и освобождение до 25% дополнительной площади на вычислительном кристалле XPU. Все три показателя даны по отношению к стандартному HBM4E. Это важно по двум причинам. Во-первых, речь идет о значениях «до», то есть о верхней границе, а не об ожидаемом результате. Во-вторых, HBM4E сам по себе — решение на перспективу: сравнение идет между двумя еще не поставляемыми спецификациями, а не с памятью, которую можно купить сегодня.

Что не так с распространенной интерпретацией

Естественное резюме — «Nvidia строит собственную HBM» — переворачивает суть. Здесь Nvidia делает противоположное вертикальной интеграции: она стандартизирует интерфейс, чтобы несколько поставщиков могли выпускать решения под него, и тем самым усиливает свое влияние на производителей памяти именно потому, что не зависит от одного из них. Второе неверное толкование касается площади кристалла. Фраза «освобождает до 25% дополнительной площади на вычислительном кристалле» местами пересказывается как примерно 30%-ный рост вычислительной мощности, чего в публикации нет. Освобожденная площадь кремния — это возможность добавить вычисления в будущем дизайне, а не ускорение уже существующего продукта. От этого анонса на рынке ничего не станет быстрее.

Чего не хватает

Названного поставщика памяти нет. Поскольку вся концепция зависит от того, согласится ли «несколько поставщиков памяти» выпускать базовые кристаллы по спецификации Nvidia, отсутствие конкретного партнера из Samsung, SK hynix или Micron — самый существенный пробел в анонсе. Нет ни даты поставок, ни продукта, в котором это появится. Единственный названный участник — Amazon's Annapurna Labs, который, как сказано, первым начал работу над NVHBM вместе с NVLink Fusion — речь идет о сотрудничестве над технологией, а не о подтвержденном внедрении.

Зачем Nvidia переносит контроллер

Ограничением для инференса больших моделей является пропускная способность памяти, а не арифметика; при этом физический интерфейс между процессором и памятью занимает все большую долю и площади кристалла, и энергобюджета. Контроль над спецификацией контроллера позволяет Nvidia подстроить интерфейс под собственные архитектуры, сохранив при этом конкуренцию между несколькими фабриками за поставку компонентов. Если спецификация будет принята, стратегический выигрыш окажется долгосрочным. Если нет, ничего не будет произведено и ничего не будет потеряно.