Um artigo enviado ao arXiv em 20 de agosto audita alegações de autoaperfeiçoamento fazendo justamente o que esse tipo de alegação costuma omitir: rodando um controle. Os autores colocaram três rodadas de auto-treinamento LoRA de rank-32 em Qwen3-8B contra um modelo congelado submetido ao mesmo pipeline e identificaram sete falhas de medição, cada uma das quais inverte uma constatação relatada quando seu controle está ausente. Várias, observam os autores, são prática padrão.

O número central

O autoaperfeiçoamento vem sendo julgado cada vez menos pela acurácia média e mais por quais problemas individuais um modelo ganha e perde — uma abordagem que exige subtrair duas estimativas ruidosas. Um registro construído com uma única decodificação gulosa fabrica mudanças de capacidade em um modelo que nunca foi treinado, em grande parte como um artefato de empacotamento da inferência. E a estatística de expansão usada para separar a aquisição genuína do mero refinamento atribui a esse mesmo modelo não treinado uma taxa de 0,280. A métrica registra um autoaperfeiçoamento substancial em um sistema em que, por construção, nada disso ocorreu.

O que a formulação comum interpreta de forma errada

Os resultados nessa literatura são relatados como comparações de antes e depois no mesmo modelo, o que parece funcionar como seu próprio controle. Não é o caso. Entre as duas medições, há ruído de amostragem, não determinismo na decodificação e efeitos de empacotamento, todos produzindo transições por problema sem qualquer treinamento envolvido. A correção óbvia — definir um limiar alto o suficiente para excluir o ruído — não resiste à replicação: estimado nas comparações congeladas que um desenho já contém, o nulo permanece diferente de zero. Os autores substituem isso por um teste exato por problema contra uma linha de base agregada, sob controle da taxa de falsos descobrimentos.

Escopo, dito com honestidade

Trata-se de uma família de modelos, em uma escala, com um método de adaptação. Isso não mostra que o autoaperfeiçoamento seja ilusório. Mostra que os instrumentos comumente usados para detectá-lo registram um sinal forte em um sistema que não poderia tê-lo produzido — o que significa que os efeitos publicados não podem ser confiavelmente maiores do que o piso de medição, porque esse piso nunca foi medido.