Moonshot, 2.8조 파라미터 모델 Kimi K3 공개…글로벌 3위권 진입

Moonshot AI는 Alibaba, Tencent, Meituan and HSG의 지원을 받는 베이징 연구소로, 7월 16일 Kimi K3를 공개했습니다. 회사는 이를 지금까지 구축된 가장 큰 오픈소스 모델이라고 설명했습니다. 이 2.8조 파라미터 규모의 sparse mixture-of-experts 모델은 Kimi.com과 API에서 즉시 사용 가능해졌으며, 가중치 자체는 7월 27일 공개 예정입니다. 현재로서는 공개 가중치 공개를 앞둔 모델입니다.

아키텍처

K3는 쿼리당 896개 전문가 중 16개만 활성화하며, 100만 토큰 문맥 창을 갖고 있습니다. Moonshot은 두 가지 자체 개발 구성 요소가 핵심 역할을 한다고 밝혔습니다. Kimi Delta Attention은 하이브리드 linear-attention 메커니즘으로, 100만 토큰 길이에서 최대 6.3배 빠른 디코딩을 제공한다고 회사는 설명합니다. 또 다른 구성 요소인 Attention Residuals는 residual connection을 대체하는 방식으로, 연구소는 이를 일관된 스케일링 향상에 기여했다고 평가했습니다. 추론은 항상 활성화되며, API에는 최대 reasoning_effort 설정만 제공되고 생각 과정을 끌 방법은 없습니다.

성능 순위

GDPval-AA v2에서 K3는 44개 직군과 9개 산업에 걸친 실제 업무 과제를 평가하는 벤치마크에서 1,687점을 기록해 종합 3위에 올랐습니다. 이는 Anthropic의 Claude Fable 5 Max(1,815점)와 OpenAI의 GPT-5.6 Sol Max(1,747.8점)에 이어진 결과이며, Claude Opus 4.8(1,600점)은 앞섰습니다. AA-Briefcase에서는 1,527점으로 2위를 차지했습니다. Fortune의 평가는 단호했습니다. 이번 공개로 중국 AI가 이른바 Fable 수준 영역에 들어섰다는 것입니다.

효율을 전략으로

Moonshot의 Yutong Zhang 사장은 이번 설계를 제약의 산물로 규정했습니다. "우리는 단순히 컴퓨팅을 확장할 여유가 없다는 것을 알고 있었습니다. 그로 인해 기초 연구와 효율성에 집중할 수밖에 없었습니다." API 가격은 백만 토큰당 캐시 적중 입력 $0.30, 캐시 미스 입력 $3.00, 출력 $15.00으로 책정돼 서방 최첨단 모델의 가격을 크게 밑돕니다.

시점이 중요했습니다

이번 공개는 7월 17일 시진핑이 기조연설을 한 상하이 세계인공지능대회 개막 직전에 이뤄졌습니다. 한편 Moonshot은 315억 달러 기업가치로 자금을 조달 중인 것으로 전해졌으며, 회사의 "가장 큰 오픈소스 모델" 주장에는 7월 27일 실제 가중치 공개가 이뤄질 때까지 별표가 붙어 있습니다.