23일 Hot Chips 38 튜토리얼 데이에서 가장 눈길을 끈 주장은 발표에 나선 가장 작은 회사에서 나왔습니다. d-Matrix는 Raptor라는 3D-DRAM 추론 가속기를 설명하며, 대역폭 밀도를 HBM4 부품의 약 1.5 GB/s per mm2에 비해 약 32.6 GB/s per mm2라고 제시해 약 20배라고 주장했습니다.
이를 뒷받침하는 수치
3D-DRAM I/O 경로에서 비트당 에너지는 0.37 pJ/bit로, HBM4 시스템의 2.5-5 pJ와 비교되며, 전력은 2.96 mW per GB/s로 HBM 대안의 40 mW와 대비됩니다. 용량은 카드당 32GB이며, 72장 구성은 100만 토큰 컨텍스트에서 최첨단 모델을 호스팅하고 3T급 모델에서 사용자당 초당 약 1000 tokens per second per user를 유지하는 것으로 설명됐습니다.
이 기술이 겨냥한 한계
Micron은 인접 세션에서 문제를 수치로 제시했습니다. 가속기 처리량은 2년마다 약 3배 증가하는 반면, HBM 같은 2.5D 접착 메모리의 대역폭은 같은 기간 2배 미만에 그친다는 것입니다. Micron은 또한 GPU와 base die, 그리고 8개의 HBM4 인스턴스로 이뤄진 일반적인 패키지가 12,000 mm2를 넘는다고 제시했으며, 12-high HBM4에서는 메모리 실리콘 면적이 GPU 다이 자체의 8배를 넘어설 수 있다고 밝혔습니다. Raptor가 바로 이 격차를 파고들고 있습니다.
통상적인 프레이밍이 놓치는 점
위의 모든 수치는 공급업체가 튜토리얼 세션에서 제시한 공급업체 비교 수치일 뿐이며, 출하 중인 제품과 연결돼 있지 않습니다. 공개 자료에는 출시일, 공급 가능 시점, 명시된 고객이 없습니다. 단일 지표에서 20배라는 비율이 시스템 전체에서의 20배를 뜻하지는 않습니다. 대역폭 밀도는 수율, 비트당 비용, 실제 섀시에서의 열 거동, 혹은 소프트웨어 스택의 존재 여부를 말해주지 않습니다. 이런 형태의 비교는 출하 하드웨어를 상대로 벤치마크한 결과인 것처럼 되풀이되곤 합니다. 그러나 그것은 사실이 아닙니다. 이는 아키텍처 주장일 뿐이며, 지금 취해야 할 올바른 태도는 이를 기록해두고 실리콘을 기다리는 것입니다.
그럼에도 중요한 이유
기존 업체들 역시 그 전제에 동의했기 때문입니다. Samsung, SK hynix, Micron은 각각 자신들의 세션에서 같은 제약의 다른 버전을 설명했습니다. 그리고 도전자가 근본적으로 다른 메모리 토폴로지를 제안해 청중의 이야기를 끌어냈다는 사실 자체가 신호입니다.