AI 모델들이 표준 테스트를 잇달아 통과하자, 업계 리더들은 이제 테스트 자체가 고장 났다고 주장하기 시작했습니다. 7월 18일 WAIC에서 중국 AI 경영진 여러 명은 정적 리더보드를 접고, 모델이 실제로 현실 세계에서 작동하는지를 측정해야 한다고 주장했습니다.

벤치마크의 문제점

문제는 MMLU, HumanEval, SWE-bench 같은 벤치마크가 포화됐을 뿐 아니라 더 심각하게는 오염됐다는 데 있습니다. 문제들이 학습 데이터로 유출되면서, 높은 점수는 역량만큼이나 암기력을 보여주는 지표가 됐습니다. 모든 최전선 모델이 상위권에 몰리면 리더보드는 더 이상 모델 간 차이를 가려내지 못합니다.

새로운 기준

Baidu 창업자 Robin Li는 시험이 아니라 사용에 기반한 대안을 제시했습니다. AI가 지속적으로 실제 업무를 수행하고 있는지를 가늠하는 지표로 “daily active agents”를 제안한 것입니다. 제품 책임자 Li Jingqiu는 최선의 시험은 “복잡하고 시간이 많이 드는 작업”이라며, 단일 리더보드 문항으로는 담아낼 수 없는 다단계 업무야말로 진짜 평가 대상이라고 주장했습니다.

“그냥 써보면 됩니다”

StepFun의 Yang Minghui는 이를 가장 직설적으로 표현했습니다. 그는 “벤치마크 경쟁이 전부는 아니다... 진짜 시험은 그냥 써보는 것”이라고 말했습니다. MiniMax의 Bai Chuanxu도 비슷한 문제를 제기하며, 텍스트와 이미지 등 여러 양식을 하나의 모델에서 다루는 native multimodality를 강조했습니다. 이는 텍스트 추론에 최적화된 리더보드가 과소평가하기 쉬운 역량이라는 설명입니다.

이해관계와 본질

여기에는 편리한 이해관계도 있습니다. ‘실제 사용’ 중심으로 평가를 재정의하면, 제품은 이미 배포됐지만 벤치마크 점수는 뒤처지는 기업들에 유리하기 때문입니다. 그러나 이 문제의식 자체는 업계 전반에 널리 공유되고 있습니다. 모델들이 포화된 테스트에서 비슷해질수록, 업계는 서로를 비교할 신뢰할 만한 방법을 실제로 잃어가고 있습니다. 그리고 “정말 작동하는가”는 어떤 단일 숫자보다 훨씬 어렵고, 더 정직한 질문입니다.