Nvidia는 UTC 26일 21:05 블로그 글을 통해 NVLink Fusion과 함께 맞춤형 고대역폭 메모리로 설명한 NVHBM을 소개했다. 급히 읽으면 Nvidia가 이제 메모리 사업에 뛰어든 것처럼 보인다. 자세히 보면, 이야기는 더 좁고 더 흥미롭다.
NVHBM이 실제로 무엇인지
일반적인 스택에서는 메모리 컨트롤러가 프로세서 다이에 자리하고 물리적 인터페이스를 통해 HBM과 통신한다. Nvidia의 제안은 이 컨트롤러를 HBM 스택 자체의 베이스 다이로 옮긴다. 회사는 이를 "여러 메모리 공급사에서 제공되는 표준 NVHBM 구현을 구축하는 것"이라고 설명한다. Nvidia는 컨트롤러와 인터페이스를 설계하고, 다른 업체가 DRAM을 제조해 적층한다. 이는 제조가 아니라 라이선스와 규격화에 대한 구상이다.
세 가지 수치와 그 기준
이 글은 세 가지 정량적 주장을 내놓는다. 최대 30% 더 높은 메모리 대역폭, 15% 더 낮은 HBM 전력 소비, 그리고 XPU 컴퓨트 다이에서 최대 25% 더 많은 면적 확보다. 이 세 가지는 모두 표준 HBM4E를 기준으로 한다. 이는 두 가지 면에서 중요하다. 첫째, 모두 "최대" 수치여서 기대치가 아니라 상한선이라는 점이다. 둘째, HBM4E 자체가 미래형 부품이어서, 비교는 오늘 당장 구매할 수 있는 메모리와의 대결이 아니라 아직 출하되지 않은 두 규격 간의 비교라는 점이다.
흔한 해석이 놓치는 것
자연스러운 요약인 "Nvidia가 자체 HBM을 만든다"는 이 구성을 거꾸로 읽는 것이다. 이번에는 Nvidia가 수직통합의 반대 방향으로 움직이고 있다. 여러 공급사가 이를 만들 수 있도록 인터페이스를 표준화해, 한 업체에 의존하지 않으면서도 메모리 벤더들에 대한 영향력을 키우는 방식이다. 두 번째 오독은 면적 수치다. "컴퓨트 다이에서 최대 25% 더 많은 면적을 확보한다"는 문구가 여러 곳에서 대략 30%의 컴퓨팅 성능 향상으로 반복되지만, 글은 그런 주장을 하지 않는다. 확보된 실리콘 면적은 향후 설계에서 컴퓨트를 더 넣을 수 있는 여지를 뜻할 뿐, 기존 제품의 속도가 빨라진다는 뜻은 아니다. 이번 발표만으로 시장의 어떤 제품도 더 빨라지지 않는다.
빠진 것
이름이 공개된 메모리 공급사는 없다. 이 개념 전체가 "여러 메모리 공급사"가 Nvidia의 규격에 맞춰 베이스 다이를 만드는 데 동의해야 한다는 점에 달려 있다는 점을 감안하면, Samsung, SK hynix 또는 Micron 가운데 어느 한 곳도 파트너로 명시되지 않은 것은 발표의 가장 큰 공백이다. 출하 시점도, 적용 제품도 없다. 유일하게 이름이 언급된 곳은 Amazon의 Annapurna Labs로, NVLink Fusion과 함께 NVHBM 작업에 가장 먼저 참여한 것으로 설명된다. 이는 기술 협업일 뿐, 확정된 배치를 뜻하지는 않는다.
Nvidia가 컨트롤러를 옮기려는 이유
대형 모델 추론의 제약은 연산이 아니라 메모리 대역폭이며, 프로세서와 메모리 사이의 물리적 인터페이스는 점점 더 많은 다이 면적과 전력 예산을 차지한다. 컨트롤러 규격을 장악하면 Nvidia는 여러 파운드리가 부품 공급 경쟁을 벌이는 상태를 유지하면서도, 그 인터페이스를 자사 아키텍처에 맞게 조율할 수 있다. 이 규격이 채택되면 전략적 이득은 오래 간다. 채택되지 않으면, 제조된 것도 잃은 것도 없다.