Un artículo presentado en arXiv el 20 de agosto audita las afirmaciones de auto-mejora haciendo lo que este tipo de trabajos suele omitir: ejecutar un control. Los autores enfrentaron tres rondas de autoentrenamiento LoRA de rango 32 en Qwen3-8B a un modelo congelado sometido al mismo proceso idéntico, e identifican siete fallos de medición, cada uno de los cuales invierte un hallazgo informado cuando su control no está presente. Varios, señalan los autores, son práctica habitual.
La cifra central
La auto-mejora se evalúa cada vez menos por la precisión media que por qué problemas individuales gana y pierde un modelo, un enfoque que requiere diferenciar dos estimaciones ruidosas. Un registro construido a partir de un único decode greedy fabrica cambios de capacidad en un modelo que nunca fue entrenado, en gran medida como artefacto del batching en la inferencia. Y la estadística de expansión utilizada para separar la adquisición genuina del mero afinamiento asigna a ese mismo modelo sin entrenar una tasa de 0,280. La métrica informa de una auto-mejora sustancial en un sistema en el que, por construcción, no se produjo ninguna.
Qué falla en el planteamiento habitual
Los resultados en esta literatura se presentan como comparaciones de antes y después sobre el mismo modelo, lo que parece convertirlo en su propio control. No lo es. Entre ambas mediciones se interponen ruido de muestreo, no determinismo en el decodificado y efectos de batching, todo lo cual genera transiciones por problema sin que medie entrenamiento alguno. La reparación obvia —fijar un umbral lo bastante alto para excluir el ruido— no resiste la replicación: estimado a partir de las comparaciones congeladas que un diseño ya contiene, el nulo sigue siendo distinto de cero. Los autores lo sustituyen por una prueba exacta por problema frente a una línea de base agregada bajo control de la tasa de falsos descubrimientos.
Alcance, dicho con honestidad
Se trata de una sola familia de modelos, a una sola escala y con un solo método de adaptación. No demuestra que la auto-mejora sea ilusoria. Demuestra que los instrumentos que suelen usarse para detectarla registran una señal fuerte en un sistema que no pudo haberla producido, lo que significa que no puede confiarse en que los tamaños de efecto publicados sean mayores que el suelo de medición, porque ese suelo nunca se midió.