중국 연구소 Zhipu(Z.ai)는 8월 14일 GLM-5.3을 발표하며, 이를 프로그래밍용 최고 성능의 오픈소스 모델이라고 설명하고 자체 실습형 코딩 평가에서 GLM-5.2 대비 50% 향상을 주장했습니다.
눈에 띄는 수치
Terminal Bench 3.0은 4.6에서 28.3으로 올라갑니다. 이는 모델이 장시간 과제에서 실제로 셸을 운용할 수 있는지를 측정하는 벤치마크에서 6배에 이르는 상승입니다. 에이전트형 터미널 작업은 중국의 오픈웨이트 모델과 서구 최전선 시스템 간 격차가 가장 컸던 분야였는데, Zhipu는 이번 한 번의 출시로 그 대부분이 해소됐다고 주장하고 있습니다.
나머지 성적표
DeepSWE v1.1은 46.2에서 66.9로 오르고, Agents' Last Exam은 23.8에서 28.5로, AutomationBench는 26.2에서 48.2로 상승했습니다. Z.ai Code Bench의 High 설정에서 이 모델은 과제당 약 50,000개의 토큰을 쓰면서 31.4%의 정확도를 기록했다고 밝힙니다. 이는 대부분의 벤더가 공개하지 않는 비용 수치로, 정확도와 함께 읽어볼 만한 수치입니다.
같은 차트를 다시 읽으면
Zhipu의 자체 비교에 따르면 GLM-5.3은 공개한 6개 벤치마크 모두에서 GPT-5.6 Sol과 Fable 5보다 뒤처집니다. Terminal Bench에서는 28.3으로 34.6과 33.7에 미치지 못합니다. DeepSWE에서는 67.5를 기록한 Kimi K3보다도 약간 낮습니다. 회사는 "최고의 오픈소스"라고 주장하지만, 자사 6개 벤치마크 중 하나에서는 그 주장조차 다툼의 대상이 됩니다.
새로운 사전학습은 없습니다
Zhipu는 GLM-5.3이 GLM-5.2와 같은 베이스 모델을 사용하며, 성능 향상은 전적으로 후훈련 규모 확대에서 나왔다고 밝혔습니다. 이는 xAI가 이틀 전 Grok 4.6에 대해 내놓은 주장과 같은 내용으로, 모델 수명주기에서 비용이 가장 많이 드는 부분은 사전학습이 끝난 뒤에 벌어지는 일이라는 점을 시사합니다.
아직 검증되지 않은 부분
여기 나온 모든 수치는 자체 보고치이며, 가중치는 공개되지 않았습니다. Zhipu는 안전성 평가와 하드닝을 거친 뒤 약 2주 후 이를 공개하고, 그 직후 API 접근도 제공할 예정이라고 밝혔습니다. 회사의 Hugging Face 조직에는 여전히 GLM-5.2가 최신 출시로 표시돼 있습니다. 가중치가 나오기 전까지 "최고의 오픈소스 코딩 모델"이라는 주장은 Zhipu 밖에서는 누구도 실행해볼 수 없는 모델에 대한 주장입니다.