À medida que os modelos de IA saturam os testes padrão, os líderes do setor argumentam cada vez mais que os próprios testes estão com problemas. Em 18 de julho, na WAIC, uma série de executivos chineses de IA defendeu o abandono dos leaderboards estáticos em favor da medição de se os modelos realmente funcionam no mundo real.
O problema com os benchmarks
A queixa é que benchmarks como MMLU, HumanEval e SWE-bench se tornaram saturados e, pior, contaminados — suas questões vazam para os dados de treinamento, de modo que pontuações altas medem tanto a memorização quanto a capacidade. Quando todo modelo de fronteira se aglomera perto do topo, o leaderboard deixa de distingui-los.
Novos critérios
O fundador da Baidu, Robin Li, apresentou uma alternativa baseada no uso, e não em provas: "daily active agents" como medida de se a IA está realizando trabalho real e sustentado. A líder de produto Li Jingqiu argumentou que o melhor teste é "uma tarefa complexa e demorada" — o tipo de trabalho em várias etapas que uma única pergunta de leaderboard não consegue capturar.
"É só usar"
Yang Minghui, da StepFun, resumiu da forma mais direta: "a corrida dos benchmarks não é o ponto principal... o verdadeiro teste é simplesmente usar." Bai Chuanxu, da MiniMax, fez um ponto relacionado, destacando a multimodalidade nativa — a capacidade de lidar com texto, imagens e mais em um único modelo — como uma capacidade que leaderboards otimizados para raciocínio em texto tendem a subestimar.
O interesse próprio e a substância
Há aqui um interesse próprio conveniente: redefinir a avaliação em torno do "uso real" favorece empresas cujos produtos estão em produção, mas cujas pontuações em benchmarks ficam atrás. Ainda assim, a crítica subjacente é amplamente compartilhada em todo o setor. À medida que os modelos convergem em testes saturados, a indústria realmente carece de uma forma confiável de compará-los — e "isso realmente funciona?" é uma pergunta mais difícil e mais honesta do que qualquer número isolado.