Un article soumis à arXiv le 20 août passe au crible les affirmations d’auto-amélioration en faisant ce que ce type d’affirmation omet généralement : introduire un contrôle. Les auteurs ont opposé trois cycles d’auto-entraînement LoRA rank-32 sur Qwen3-8B à un modèle figé soumis au même pipeline, et identifient sept défaillances de mesure, dont chacune inverse un résultat rapporté lorsque son contrôle est absent. Plusieurs d’entre elles, notent les auteurs, relèvent de la pratique standard.
Le chiffre central
L’auto-amélioration est de plus en plus évaluée non pas à l’aune de l’exactitude moyenne, mais selon les problèmes individuels qu’un modèle gagne ou perd — un cadrage qui impose de soustraire deux estimations bruitées. Un tableau construit à partir d’un seul décodage glouton fabrique des changements de capacité sur un modèle qui n’a jamais été entraîné, en grande partie comme artefact du batching à l’inférence. Et la statistique d’expansion utilisée pour distinguer un véritable apprentissage d’un simple affinement attribue à ce même modèle non entraîné un taux de 0,280. La métrique signale une auto-amélioration substantielle dans un système où, par construction, aucune n’a eu lieu.
Ce que le cadrage courant ignore
Dans cette littérature, les résultats sont présentés sous forme de comparaisons avant/après sur un même modèle, qui sert en apparence de contrôle. Ce n’en est pas un. Entre les deux mesures s’intercalent le bruit d’échantillonnage, la non-déterminisme du décodage et les effets de batching, qui produisent tous des transitions par problème sans aucun entraînement. La correction la plus évidente — fixer un seuil suffisamment élevé pour écarter le bruit — ne résiste pas à la réplication : estimé à partir des comparaisons figées qu’un protocole contient déjà, le nul reste non nul. Les auteurs le remplacent par un test exact par problème, comparé à une base de référence agrégée sous contrôle du taux de fausses découvertes.
La portée, dite honnêtement
Il s’agit d’une seule famille de modèles, à une seule échelle, avec une seule méthode d’adaptation. Cela ne montre pas que l’auto-amélioration est illusoire. Cela montre que les instruments couramment utilisés pour la détecter enregistrent un signal fort sur un système qui ne pouvait pas en produire — ce qui signifie que les tailles d’effet publiées ne peuvent pas être tenues pour supérieures au plancher de mesure, puisque ce plancher n’a jamais été mesuré.