Google ha pubblicato Mantis il 3 settembre, rilasciando come framework open source il harness che, secondo quanto afferma, fa parte del suo approccio interno per individuare e correggere le vulnerabilità alla velocità delle macchine. Mantis automatizza scoperta, triage, riproduzione e patching, combinando agenti critic e review con la riproduzione in sandbox per mettere a terra i propri risultati.
La frase che viene letta in modo errato
Il post di Google afferma: "While sloppiness in AI code scanning frequently leads to hallucinated bugs and weak true-positive rates under 7%, we designed Mantis to be effective by combining industry-standard agentic techniques like critic and review agents with sandboxed reproduction of vulnerabilities for grounding." Quel numero descrive lo stato del settore contro cui Google sta contrapponendo la propria proposta. È la definizione del problema, non il punteggio del prodotto.
Cosa sbaglia il framing più diffuso
Nelle ore successive, la cifra del 7% ha iniziato a circolare come se fosse il true-positive rate di Mantis, ribaltando completamente l’affermazione — trasformando una critica agli approcci concorrenti in un’ammissione sullo strumento di Google. Il punto più difficile, e quello che vale la pena sottolineare, è questo: il post non fornisce alcuna cifra di accuratezza per Mantis. Nessun true-positive rate, nessun risultato di benchmark, nessuna tabella comparativa. Il lettore trova un’architettura descritta e un’affermazione di efficacia. Il 7% non attribuito sta facendo il lavoro probatorio nella copertura proprio perché non c’è alcun numero misurato da citare al suo posto.
Perché il grounding è la tesi progettuale
L’architettura è la vera informazione resa pubblica. I report di vulnerabilità allucinati sono la modalità di guasto che ha trasformato gli scanner di codice AI in un fardello per chi li mantiene — ogni falso positivo costa tempo umano per il triage, e i progetti open source hanno iniziato a respingere del tutto i report generati dall’AI. La risposta di Mantis è la riproduzione in sandbox: una segnalazione è una segnalazione solo se il harness riesce a riprodurla. È la risposta architetturale corretta, e chiunque esegua il codice può verificarla, che è il vantaggio di distribuirlo come open source.
Cosa manca
Il post non indica una licenza. Per un rilascio open source rivolto a maintainers e operatori di infrastrutture critiche, la licenza non è un dettaglio: stabilisce chi può usare il harness a fini commerciali e a quali condizioni. Chiunque intenda adottarlo dovrebbe leggere il repository, non l’annuncio.