OpenAI는 첫 Hot Chips 참석에서 자사 추론 ASIC Jalapeño의 수치를 슬라이드에 올리고, 이 칩이 이미 Codex를 서비스하고 있다고 밝혔습니다. 발표는 8월 25일 화요일 밤늦게 Stanford에서 진행됐습니다. 회사가 자사 실리콘을 수치와 함께 공개한 것은 이번이 처음입니다.
실제로 공개된 내용
칩 1개당: 13.4 PFLOP/s의 MXFP4-by-MXFP4 행렬 연산, 216 GiB에 걸친 15.4 TB/s의 HBM4 대역폭, 700와트 패키지입니다. 인터커넥트는 Broadcom Tomahawk 6 스위치를 기반으로 한 반평탄형 2단 Clos 구조로, 128개 ASIC 클러스터에서 600 GB/s 로컬 도메인, 전체 시스템에서 200 GB/s 글로벌 도메인을 구성합니다. Broadcom과 Celestica는 파트너로 언급됐습니다.
일정이 더 인상적입니다
OpenAI는 일정을 그대로 공개했습니다. 2024년 말 아키텍처 구상, 2025년 RTL 고정, 2025년 말 테이프아웃, 2026년 초 칩에서 Codex 구동, 이후 ChatGPT 순입니다. 백지 상태에서 생산 워크로드를 서비스하기까지 약 2년이 걸린 셈으로, 첫 세대 가속기로서는 매우 빠른 속도입니다.
흔한 해석이 놓치는 점
세 가지 오류가 있으며, 서로 겹칩니다. 첫째, 27 EFLOP/s는 시스템 수치입니다. 13.4 PFLOP/s에 2,048개 칩을 곱한 값이며, 총 메모리 432 TiB와 함께 제시된 수치입니다. 이를 Nvidia의 GPU 1개당 수치와 나란히 비교하면 의미가 없습니다. 둘째, MXFP4는 사용 가능한 정밀도 가운데 가장 작고 유리한 정밀도입니다. 4비트 마이크로스케일 행렬 연산은 밀집형 FP8이나 BF16 수치와 비교할 수 없으며, OpenAI는 밀집형 수치를 공개하지 않았습니다. 따라서 정밀도를 가로질러 'Nvidia를 이겼다'고 계산하는 것은 무효입니다. 셋째, 700W와 GB200의 1.2 kW, GB300의 1.4 kW를 비교하는 것은 패키지 전력 비교일 뿐, 와트당 성능 결과가 아닙니다. 해당 Nvidia 제품은 학습 기능을 갖춘 CPU+GPU 슈퍼칩인 반면, Jalapeño는 추론 전용이며, 공통 벤치마크도 제시되지 않았습니다.
그리고 이는 첫 실리콘입니다
소프트웨어 스택은 A0가 연구실로 돌아온 뒤 발표 시점 사이에 올라왔습니다. 이는 연구실에서 제한적 서비스로 넘어간 이야기입니다. 공정 노드, 웨이퍼 물량, 수율, 설비 규모에 대해서는 아무것도 공개되지 않았습니다. 바로 그 정보들이 작동하는 칩과 공급망을 가르는 기준입니다.