Un articolo di benchmark pubblicato il 3 settembre mette sotto accusa il modo in cui il settore misura la sua principale rivendicazione in ambito sicurezza. Se un agente AI applica una patch a una vulnerabilità, il controllo standard consiste nel rieseguire la proof-of-concept che causava il crash e verificare se va ancora in crash. Gli autori rilevano che questa soglia è molto più lasca di quanto sembri.
La misura principale
"Tra 11 agenti all’avanguardia, compresi i primi tre agenti di AIxCC, la validazione originale solo su PoC gonfia in media di 1,83x il tasso di successo del task di patching degli agenti." Il lavoro riguarda il patching di vulnerabilità in C e C++, e il confronto è tra due regimi di validazione, non tra due gruppi di agenti.
Come è costruito il benchmark
"Seleziona vulnerabilità le cui correzioni ground-truth si trovano fuori dallo stack del crash", quindi applica transplant delle vulnerabilità e mutazioni del codice. Questa impostazione è importante per leggere il dato: si tratta di casi scelti proprio perché una patch può zittire il crash senza affrontare il difetto.
Il risultato sulla memorizzazione
Separatamente, "in media, il 25% delle patch degli agenti mostra una somiglianza sostanziale con patch storiche sviluppate da esseri umani." Si tratta di una misura di similarità, non della prova di una contaminazione dei dati di training — una correzione corretta spesso somiglia a quella dello sviluppatore perché esiste un’unica correzione ovvia — ma è comunque un quarto del campione, e incide su ciò che questi benchmark stanno misurando.
Cosa sbaglia la lettura diffusa
Il titolo che attirerà questa ricerca è che gli agenti di patching AI sono falsi al 45%. Non è ciò che significa 1,83x. Il rapporto confronta due metodi di scoring su un benchmark costruito dagli autori proprio per mettere in crisi quello più debole, quindi il divario è reso visibile per progettazione anziché campionato nel mondo reale. La lettura difendibile è direzionale: la validazione solo su PoC sovrastima sistematicamente, di circa questa entità su casi scelti in modo avversariale. L’abstract inoltre non fornisce punteggi per singolo agente, quindi nessun vendor può essere individuato. Vale la pena indicare i limiti: un solo team, una sola coppia di linguaggi, un benchmark costruito dagli autori e nessuna replica indipendente per ora.