Seulement 26 % des correctifs de sécurité IA étaient propres. 20 % de plus ont corrigé le bug tout en cassant l’application.

Off-by-1 Labs, le groupe de recherche de 1Password, a publié le 6 août les résultats de l’évaluation de 6 080 correctifs de sécurité générés par l’IA. Seuls 26,0 % ont entièrement corrigé la vulnérabilité sans modifier le comportement de l’application. Les auteurs avaient émis l’hypothèse d’un taux supérieur à 67 %.

Les 74 % restants ne sont pas tous des échecs

Un autre 20,1 % a fermé la vulnérabilité, mais a modifié le comportement de l’application — ainsi, 46,1 % des correctifs ont bien corrigé le bug. Les 53,9 % restants n’ont pas remédié au problème, ont introduit une nouvelle vulnérabilité, ou les deux. Seuls 2,3 % ont introduit un nouveau problème de sécurité tout en corrigeant l’original. Le chiffre mis en avant sous-estime le taux de correction et surestime le danger.

Méthode

Six CVE récemment divulguées ont été choisies spécifiquement pour éviter toute contamination des données d’entraînement — un modèle ne peut pas avoir mémorisé un correctif publié après sa date limite de connaissance. 6 480 correctifs ont été générés et 400 ont été signalés puis supprimés. Les modèles étaient ChatGPT-5.5 d’OpenAI et Opus 4.8 d’Anthropic, pour un coût moyen de 2,11 $ et 2,81 $ par correctif respectivement. Les auteurs sont Axel Mierczuk, Spencer Michaels et Keith Hoodlet.

Fragiles même quand ils sont justes

Plus d’un tiers des correctifs réussis ont été jugés « fragiles » par les auteurs — corrects, mais reposant sur des hypothèses qui ne survivraient pas à une refactorisation. Le chiffre largement cité de 6,74 $ correspond au coût par correctif réussi, un indicateur différent du coût de génération par correctif chez 1Password, et l’écart entre les deux correspond à la taxe payée sur les tentatives rejetées.

Ce que cela mesure — et ne mesure pas

Il s’agit d’un benchmark sur six CVE portant sur des sorties non relues, et non de données de production, et les modèles testés ne sont pas les versions de pointe actuelles. Ce que cela mesure précisément, c’est le cas que l’industrie continue de proposer : des correctifs appliqués sans qu’un humain les lise. Sur cette question précise, l’écart entre l’hypothèse des auteurs et le résultat — 67 % attendus contre 26 % observés — est plus grand que le résultat lui-même.