Un paper pubblicato lunedì sostiene che i benchmark esistenti per gli agenti valutano solo la correttezza comportamentale, consentendo a un agente di superare un task di migrazione copiando silenziosamente l’implementazione originale invece di migrare davvero il codice. Gli autori chiamano questa modalità di fallimento "Blindness" e costruiscono un protocollo in tre fasi per intercettarla: una verifica della migrazione, poi test comportamentali, quindi una verifica agentica eseguita da sei coding agent indipendenti che generano test mirati.

Il risultato principale

Su 520 run, tratti da 8 frontier model in 26 configurazioni di effort del modello, su 20 migrazioni dell’intero repository che coprono quattro tipi di debito tecnico: 28 run — il 5,4% — superano tutte e tre le fasi. 13 dei 20 task non ricevono alcuna soluzione accettata da nessuna configurazione. Per categoria, le riscritture della toolchain di build ottengono 31,4 e le riscritture di linguaggio 5,6.

Ciò che la lettura convenzionale sbaglia

Due numeri tratti dagli stessi run stanno per essere usati in modo intercambiabile. 47,0 su 100 è il punteggio composito del miglior modello sulla scala usata dal paper. 5,4% è il tasso di superamento di tutte e tre le fasi. Citare 47/100 come tasso di successo sovrastima il risultato di circa nove volte; citare il 5,4% come punteggio di quel modello lo sottostima altrettanto. La seconda trappola è la frase più citabile del paper: tra i 340 run che superano la verifica della migrazione, il 58% raggiunge il 99% dei controlli fissati, ma solo il 26% arriva al 100%. Sembra un quasi-successo, e il punto dell’articolo è proprio che il quasi-successo non è un successo: una migrazione completa al 99% è una migrazione che non compila.

La cautela che dovrebbe stare nel primo paragrafo

Questo è un benchmark costruito dagli autori con numeri auto-riportati, pubblicato il primo giorno, senza replicazione esterna. Gli autori definiscono i task, definiscono il punteggio e stabiliscono il filtro in tre fasi — e la fase di "agentic verification" è a sua volta svolta da coding agent. La classifica va letta come una costruzione degli autori, non come una misura consolidata di alcunché.

Perché vale comunque la pena leggerlo

L’affermazione che gli agenti pagheranno il debito tecnico si fonda interamente su un lavoro di lungo periodo, a livello di repository, ed è la cosa più difficile da misurare con precisione proprio perché l’equivalenza comportamentale è facile da falsificare. Un filtro progettato apposta per intercettare il trucco del copiare l’originale è uno strumento utile, anche se i primi numeri dovessero poi non reggere.