Microsoft는 화요일 오후 Hot Chips에서 Maia 200의 첫 완전한 아키텍처 정보를 공개했습니다. 이 칩은 820 mm² 다이에 1,400억 개 트랜지스터를 탑재하고, TSMC 3nm 공정으로 제조됐으며, 750 W를 소모하고, FP4 10,000 TFLOPS 성능을 내며, 128개 랙과 약 6,000개 칩 구성으로 시연됐습니다.
정말로 거대한 실리콘 덩어리
820 mm²는 레티클급으로, 단일 다이로는 거의 최대 크기에 해당합니다. 네트워킹은 독특하면서도 의도적입니다. Microsoft는 별도의 scale-out 패브릭 없이 커스텀 NIC와 통합 Ethernet을 사용하며, SoC당 8개의 Ethernet 레인을 4개의 네트워크 플레인으로 나눴습니다. Microsoft는 하나의 Ethernet 기반 네트워크가 scale-up과 scale-out 트래픽을 모두 처리할 수 있다고 보고 있습니다.
통상적인 해석이 놓치는 부분
두 가지입니다. 우선 연산 수치는 FP4 기준입니다. 4비트 연산 10 PFLOPS는 OpenAI의 MXFP4 13.4 PFLOP/s와 대략 비슷한 수준이지, FP8이나 BF16 수치와는 비교할 수 없습니다. 밀도 수치는 공개되지 않았습니다. 그러나 핵심은 메모리이며, 이 부분은 Microsoft에 불리하게 작용합니다. Maia 200은 HBM3e를 사용한 반면, 같은 날 함께 공개된 칩들은 HBM4를 사용합니다. Microsoft는 대역폭인 7 TB/s는 공개했지만, 스택 수만 밝히고 용량은 공개하지 않았습니다. 메모리 세대 차이를 언급하지 않은 채 7 TB/s를 OpenAI의 15.4 TB/s와 나란히 놓는 것은 피해야 할 오류입니다. HBM3e 6개 스택은 2026년 가속기에서 2024년 세대 메모리 서브시스템을 의미하며, 어떤 모델이 들어갈 수 있는지를 결정하는 것은 바로 용량입니다.
'배포를 준비 중'은 배포된 것이 아닙니다
Microsoft는 이 칩을 Azure에 투입하기 위해 준비 중인 것으로 설명했습니다. 이는 몇 시간 뒤 OpenAI가 Codex가 이미 Jalapeño에서 구동 중이라고 밝힌 것과는 다른 주장입니다. 128개 랙, 6,000개 칩이라는 수치는 설치된 운영 환경이 아니라 시연된 구성입니다.
그리고 후속 칩은 이미 진행 중일 수 있습니다
8월 초의 이전 보도에 따르면 Microsoft는 9월 시점의 Maia 300으로 이동하고 있습니다. 이 일정이 맞는다면 Maia 200은 수명이 짧은 세대로, 경쟁 칩들보다 더 오래된 메모리를 탑재한 채 아직 배포 전 단계에 있고, 일부를 위해 구축된 테넌트는 이미 자체 실리콘을 가동하고 있는 셈입니다.