Des modèles frontier ont trouvé 29 vraies failles dans du code durci. Ils en ont aussi signalé 81 qui n’en étaient pas.

Une société italienne de sécurité offensive a soumis des modèles frontier d’Anthropic et d’OpenAI au code source de GlobaLeaks, une plateforme open source de lanceurs d’alerte qui a absorbé environ une décennie d’audits humains indépendants, et a publié ce qui en est ressorti : 29 vulnérabilités confirmées, 12 problèmes de déni de service et 42 observations de durcissement.

La cible n’était pas tendre

Cela compte davantage que le simple total. GlobaLeaks est utilisé par des rédactions et des organismes anticorruption et a été examiné à plusieurs reprises par des personnes payées pour le casser. Y trouver quoi que ce soit constitue une affirmation plus solide que de repérer des bugs dans une base de code jamais examinée.

Le ratio que le titre masque

Les modèles ont produit 110 résultats candidats. Le tri humain en a confirmé 29. Cela correspond à une précision d’environ 26 % — soit à peu près trois quarts des alertes émises par les modèles qui n’ont pas résisté à l’examen. Le titre repris, selon lequel l’IA peut identifier de vraies vulnérabilités logicielles, est exact, mais il omet le coût de cette précision.

Ce que les 77 $ ne disent pas

L’étude fait état d’environ 77 $ par résultat confirmé, pour une dépense totale d’environ 3 140 $ sur 12 000 requêtes et 1,24 milliard de tokens. Son propre texte précise que ce montant est avant validation humaine. Le tri expert qui a transformé 110 hypothèses en 29 résultats est l’étape qui a produit les confirmations, et elle n’est pas incluse dans le chiffre. La conclusion affichée par l’étude admet elle-même que les experts conservent le rôle décisif.

Lisez la répartition des coûts, pas le total

Un chiffre se détache des autres : le modèle de raisonnement avancé a consommé 62 % du budget tout en traitant 7 % des tokens. C’est la véritable économie des modèles de raisonnement dans les travaux de revue de code : la dépense se concentre sur une faible partie de la tâche. Deux réserves de provenance. Il s’agit d’un rapport du fournisseur, émanant d’une société qui vend précisément ce service. Et le chiffre de 29 n’est accompagné d’aucune répartition publiée par gravité ; il ne faut donc pas le lire comme 29 failles critiques. Les 54 éléments restants sont des recommandations de déni de service et de durcissement, pas des brèches exploitables.