Un artículo publicado el 3 de septiembre informa de dos estudios preregistrados sobre jueces LLM de caja negra que nunca llegaron a formular sus preguntas de investigación. Los controles de fiabilidad fijados de antemano por los autores fallaron, y el artículo es el informe de ese fracaso a lo largo de 52.988 intentos de solicitud auditados.
Los dos umbrales que fallaron
Las clasificaciones repetidas tomadas dentro de la misma ventana coincidieron en Spearman 0.400 frente a un requisito de 0.90. Las repeticiones idénticas a nivel de bytes ejecutadas al día siguiente coincidieron en 0.78 frente a un requisito de 0.99. No se trata de umbrales fijados a posteriori para demostrar un punto: fueron preregistrados antes de recopilar los datos, lo que da fuerza al resultado negativo.
No es un problema de un solo proveedor
Al cambiar de proveedor, "cuatro proveedores comparten el suelo, medianas 0.74 a 0.88." Simplemente esperar no ayudó: 0.805 frente a 0.800, replicado durante cinco días más. El autoalojamiento en núcleos invariantes por lotes, la mitigación conocida para la no determinación de la inferencia, "ayudó solo mientras el servidor estaba tranquilo", lo que apunta al mecanismo: el comportamiento del batching bajo carga en la pila de servicio.
El control barato que recomiendan los autores
El artículo señala que un piloto con aproximadamente el 2% del volumen de llamadas del estudio habría revelado por adelantado ambos umbrales inalcanzables. Incluye una escalera de identidad de instantánea de tres niveles, ocho reglas de diseño y una lista de verificación de informes como resultado práctico.
Qué falla en el encuadre recibido
"Los jueces LLM son poco fiables" es una lectura demasiado amplia. El hallazgo se refiere al comportamiento medido externamente en infraestructura de servicio compartida: un nombre de modelo detrás de un endpoint compartido no es un instrumento congelado, y eso es una propiedad de la pila de servicio más que del juicio del modelo. El artículo incluye además dos salvedades que juegan a su favor y en contra de la versión sensacionalista. Los umbrales de 0.90 y 0.99 son inusualmente estrictos, y un estudio que eligiera otros más laxos habría superado la prueba; lo valioso es que se fijaron de antemano, no que 0.400 sea una constante. Y parte del fallo es que las diferencias candidatas que se comparaban estaban siete órdenes de magnitud por debajo del propio suelo de ruido del instrumento, es decir, las diferencias eran demasiado pequeñas para medirse en absoluto.