Google a publié Mantis le 3 septembre, en mettant en open source un framework de harness qu’il dit faire partie de son approche interne pour trouver et corriger les vulnérabilités à la vitesse des machines. Mantis automatise la découverte, le triage, la reproduction et le correctif, en combinant des agents de critique et de revue avec une reproduction en bac à sable pour étayer ses conclusions.
La phrase qui est mal interprétée
Le billet de Google indique : « Alors que la négligence dans l’analyse de code par IA conduit fréquemment à des bugs hallucinés et à de faibles taux de vrais positifs inférieurs à 7 %, nous avons conçu Mantis pour être efficace en combinant des techniques agentiques standard du secteur, comme des agents de critique et de revue, avec la reproduction en bac à sable des vulnérabilités pour les étayer. » Ce chiffre décrit l’état du domaine auquel Google se compare. Il s’agit de l’énoncé du problème, pas du score du produit.
Ce que le cadrage courant comprend mal
En quelques heures, le chiffre de 7 % circulait comme s’il s’agissait du propre taux de vrais positifs de Mantis, ce qui inverse complètement le sens de l’affirmation — transformant une critique des approches concurrentes en aveu concernant l’outil de Google. Le point plus difficile, et celui qui mérite d’être souligné : le billet ne donne aucun chiffre de précision pour Mantis. Aucun taux de vrais positifs, aucun résultat de benchmark, aucun tableau comparatif. Le lecteur a droit à une architecture décrite et à une affirmation d’efficacité. Le 7 % non sourcé fait le travail probatoire dans les articles précisément parce qu’aucun chiffre mesuré n’est fourni à la place.
Pourquoi l’ancrage dans la réalité est l’argument de conception
L’architecture est la véritable information révélée. Les rapports de vulnérabilités hallucinés sont le mode d’échec qui a fait des scanners de code par IA une charge pour les mainteneurs — chaque faux positif coûte du temps humain de triage, et des projets open source ont commencé à rejeter purement et simplement les rapports générés par IA. La réponse de Mantis est la reproduction en bac à sable : une découverte n’en est une que si le harness peut la déclencher. C’est la bonne réponse architecturale, et n’importe qui peut la vérifier en exécutant le code, ce qui est l’avantage d’une publication en open source.
Ce qui manque
Le billet ne précise pas de licence. Pour une publication open source destinée à des mainteneurs et à des opérateurs d’infrastructures critiques, la licence n’est pas un détail : elle détermine qui peut utiliser le harness à des fins commerciales et à quelles conditions. Toute personne qui envisage de l’adopter devrait lire le dépôt, pas l’annonce.