Un paper inviato ad arXiv il 20 agosto esamina le affermazioni di auto-miglioramento facendo ciò che questi studi di solito omettono: eseguire un controllo. Gli autori mettono a confronto tre round di self-training LoRA rank-32 su Qwen3-8B con un modello congelato fatto passare attraverso la stessa identica pipeline, e individuano sette errori di misurazione, ciascuno dei quali ribalta un risultato riportato quando il suo controllo manca. Alcuni, notano gli autori, sono pratica standard.
Il numero centrale
L’auto-miglioramento viene giudicato sempre più non in base all’accuratezza media, ma in base a quali singoli problemi un modello guadagna e perde — una cornice che richiede di sottrarre due stime rumorose. Un registro costruito su una singola greedy decode produce cambiamenti di capacità su un modello che non è mai stato addestrato, in gran parte come effetto del batching dell’inferenza. E la statistica di espansione usata per separare la reale acquisizione dal semplice affinamento attribuisce a quello stesso modello non addestrato un tasso di 0.280. La metrica segnala un sostanziale auto-miglioramento in un sistema in cui, per costruzione, non ne è avvenuto alcuno.
Ciò che la cornice comune sbaglia
I risultati di questa letteratura vengono riportati come confronti prima-dopo sullo stesso modello, il che lo fa apparire come il proprio controllo. Non lo è. Tra le due misurazioni si inseriscono rumore di campionamento, non determinismo del decoding ed effetti del batching, tutti fattori che producono transizioni per singolo problema senza alcun addestramento. La correzione più ovvia — fissare una soglia abbastanza alta da escludere il rumore — non regge alla replica: stimato sui confronti con il modello congelato già presenti nel disegno, il nullo resta diverso da zero. Gli autori lo sostituiscono con un test esatto per singolo problema rispetto a un baseline aggregato, sotto controllo del tasso di falsi positivi.
Portata, dichiarata con onestà
Si tratta di una sola famiglia di modelli, a una sola scala, con un solo metodo di adattamento. Non dimostra che l’auto-miglioramento sia illusorio. Dimostra che gli strumenti comunemente usati per rilevarlo registrano un segnale forte in un sistema che non può averne prodotto uno — il che significa che le dimensioni degli effetti pubblicate non possono essere considerate superiori al pavimento di misurazione, perché quel pavimento non è mai stato misurato.