Un article de benchmark publié le 3 septembre remet en cause la manière dont le secteur mesure sa principale promesse en matière de sécurité. Si un agent IA corrige une vulnérabilité, la vérification standard consiste à relancer la preuve de concept qui provoque le crash et à voir s’il crash encore. Selon les auteurs, cette porte de contrôle est beaucoup trop permissive.
La mesure phare
« Sur 11 agents de pointe, dont les trois meilleurs agents d’AIxCC, la validation initiale uniquement par PoC gonfle le taux de réussite de la tâche de patching des agents de 1,83x en moyenne. » Le travail porte sur la correction de vulnérabilités en C et C++, et la comparaison se fait entre deux régimes de validation plutôt qu’entre deux groupes d’agents.
Comment le benchmark est construit
Il « sélectionne des vulnérabilités dont les correctifs de vérité terrain se trouvent hors de la pile du crash », puis applique un transplant de vulnérabilité et des mutations de code. Cette construction est importante pour interpréter le chiffre : ces cas sont choisis précisément parce qu’un patch peut faire taire le crash sans traiter le défaut.
Le résultat sur la mémorisation
Par ailleurs, « en moyenne, 25% des patchs des agents présentent une similarité substantielle avec des correctifs historiques de développeurs. » Il s’agit d’une mesure de similarité, pas d’une preuve de contamination des données d’entraînement — un correctif juste ressemble souvent à celui du développeur parce qu’il n’existe qu’une seule correction évidente — mais cela concerne un quart de l’échantillon et éclaire ce que mesurent ces benchmarks.
Ce que la lecture courante ne dit pas
Le titre que cela attirera est que les agents de patching IA sont faux à 45%. Ce n’est pas ce que dit 1,83x. Le ratio compare deux méthodes de scoring sur un benchmark que les auteurs ont construit précisément pour mettre en défaut la plus faible, donc l’écart est conçu pour être visible plutôt que tiré du terrain. La lecture défendable est directionnelle : la validation uniquement par PoC surestime systématiquement, d’environ cette ampleur, sur des cas sélectionnés de manière adversariale. L’abstract ne publie pas non plus de scores par agent, donc aucun fournisseur ne peut être isolé à partir de celui-ci. Il faut aussi rappeler les limites : une seule équipe, une seule paire de langues, un benchmark conçu par les auteurs eux-mêmes, et aucune réplication indépendante à ce jour.