Mientras los modelos de IA saturan las pruebas estándar, los líderes del sector sostienen cada vez más que las propias pruebas están averiadas. El 18 de julio, en WAIC, una serie de ejecutivos chinos de IA defendieron dejar atrás los rankings estáticos en favor de medir si los modelos realmente funcionan en el mundo real.
El problema de los benchmarks
La queja es que benchmarks como MMLU, HumanEval y SWE-bench se han saturado y, peor aún, contaminado: sus preguntas se filtran en los datos de entrenamiento, de modo que las puntuaciones altas miden tanto la memorización como la capacidad. Cuando todos los modelos de vanguardia se agrupan cerca de la cima, el ranking deja de diferenciarlos.
Nuevos baremos
El fundador de Baidu, Robin Li, ofreció una alternativa basada en el uso y no en los exámenes: los «agentes activos diarios» como medida de si la IA realiza un trabajo real y sostenido. La responsable de producto Li Jingqiu sostuvo que la mejor prueba es «una tarea compleja y que lleve tiempo», el tipo de trabajo de varios pasos que una sola pregunta de un ranking no puede captar.
«Úsalo y ya está»
Yang Minghui, de StepFun, lo expresó de forma más directa: «la carrera de benchmarks no es el objetivo... la verdadera prueba es simplemente usarlo». Bai Chuanxu, de MiniMax, insistió en una idea relacionada, subrayando la multimodalidad nativa —la capacidad de manejar texto, imágenes y más en un mismo modelo— como una capacidad que los rankings optimizados para el razonamiento textual suelen infravalorar.
El interés propio y la sustancia
Hay aquí un interés propio cómodo: replantear la evaluación en torno al «uso real» favorece a las empresas cuyos productos se despliegan, pero cuyas puntuaciones en benchmarks van rezagadas. Aun así, la crítica de fondo está ampliamente compartida en el sector. A medida que los modelos convergen en pruebas saturadas, a la industria le falta de verdad una forma fiable de compararlos, y «¿funciona realmente?» es una pregunta más difícil y más honesta que cualquier cifra aislada.