Google 3 сентября опубликовала Mantis, выпустив в open source framework с harness, который, по ее словам, входит во внутренний подход к поиску и устранению уязвимостей на машинной скорости. Mantis автоматизирует поиск, приоритизацию, воспроизведение и исправление, объединяя агенты critic и review с воспроизведением в песочнице, чтобы подтвердить результаты.
Фраза, которую читают неверно
В посте Google говорится: «Хотя небрежность в AI code scanning нередко приводит к галлюцинированным багам и низким показателям true-positive rate ниже 7%, мы спроектировали Mantis так, чтобы он был эффективен, сочетая стандартные для индустрии агентные техники, такие как агенты critic и review, с воспроизведением уязвимостей в песочнице для подтверждения». Это число описывает состояние области, которому Google противопоставляет свой подход. Это формулировка проблемы, а не показатель продукта.
Что неверно в распространенной трактовке
Спустя несколько часов цифра 7% стала циркулировать как собственный true-positive rate Mantis, что полностью переворачивает смысл утверждения — из критики конкурирующих подходов оно превращается в признание острую проблемы у инструмента Google. Более важный момент, и именно его стоит подчеркнуть: в посте не приводится никакой метрики точности Mantis. Ни true-positive rate, ни результатов бенчмарка, ни сравнительной таблицы. Читателю предлагают архитектуру и утверждение об эффективности. Не снабженная источником цифра 7% и занимает место доказательства именно потому, что вместо нее нет измеренного показателя, на который можно сослаться.
Почему подтверждение через воспроизведение — это ключевая идея дизайна
Архитектура — это и есть главное раскрытие. Галлюцинированные отчеты об уязвимостях — тот самый сбой, из-за которого AI code scanners стали обузой для мейнтейнеров: каждая ложная сработка отнимает время на ручную проверку, а проекты с open source уже начали прямо отклонять сгенерированные AI отчеты. Ответ Mantis — воспроизведение в песочнице: находка считается находкой только в том случае, если harness способен ее сработать. Это верный архитектурный ответ, и проверить его может любой, кто запустит код, — именно в этом преимущество публикации в open source.
Чего не хватает
В посте не указан license. Для open-source-релиза, ориентированного на мейнтейнеров и операторов критической инфраструктуры, license — не деталь: он определяет, кто и на каких условиях может использовать harness в коммерческих целях. Тем, кто планирует внедрение, стоит читать репозиторий, а не анонс.