Off-by-1 Labs, il gruppo di ricerca di 1Password, ha pubblicato il 6 agosto i risultati della valutazione di 6.080 patch di sicurezza generate dall’AI. Solo il 26,0% ha corretto بالكامل la vulnerabilità senza modificare il comportamento dell’applicazione. Gli autori avevano ipotizzato un tasso superiore al 67%.

Il restante 74% non è tutto un fallimento

Un ulteriore 20,1% ha chiuso la vulnerabilità ma ha alterato il comportamento dell’applicazione — quindi il 46,1% delle patch ha effettivamente corretto il bug. Il restante 53,9% non ha risolto il problema, ha introdotto una nuova vulnerabilità, o entrambe le cose. Solo il 2,3% ha introdotto un nuovo problema di sicurezza mentre correggeva quello originale. Il dato in evidenza sottostima il tasso di correzione e sopravvaluta il pericolo.

Metodo

Sono state scelte sei CVE divulgate di recente proprio per evitare la contaminazione dei dati di addestramento — un modello non può aver memorizzato una correzione pubblicata dopo il proprio cutoff. Sono state generate 6.480 patch e 400 sono state segnalate e rimosse. I modelli erano ChatGPT-5.5 di OpenAI e Opus 4.8 di Anthropic, con un costo medio di 2,11 dollari e 2,81 dollari per patch rispettivamente. Gli autori sono Axel Mierczuk, Spencer Michaels e Keith Hoodlet.

Fragili anche quando giuste

Più di un terzo delle patch riuscite è stato giudicato "fragile" dagli autori — corrette, ma basate su assunzioni che non resisterebbero a un refactoring. La cifra ampiamente citata di 6,74 dollari è il costo per patch riuscita, una metrica diversa dal costo di generazione per patch di 1Password, e il divario tra le due rappresenta il prezzo pagato per i tentativi scartati.

Cosa misura e cosa no

Si tratta di un benchmark su sei CVE basato su output non revisionati, non di telemetria di produzione, e i modelli testati non sono le release più avanzate attuali. Ciò che misura con precisione è il caso che il settore continua a proporre: patch applicate senza che un umano le legga. Su questa specifica domanda, il divario tra l’ipotesi degli autori e il risultato — 67% atteso contro 26% osservato — è più grande del risultato stesso.