Off-by-1 Labs, исследовательская группа 1Password, 6 августа опубликовала результаты оценки 6 080 исправлений безопасности, созданных ИИ. Лишь 26,0% полностью устранили уязвимость, не меняя поведение приложения. Авторы предполагали показатель выше 67%.
Остальные 74% — не все провал
Ещё 20,1% закрыли уязвимость, но изменили поведение приложения — таким образом, 46,1% исправлений всё же устранили баг. Оставшиеся 53,9% не исправили проблему, добавили новую уязвимость или сделали и то и другое. Лишь 2,3% при исправлении исходной проблемы внесли новую угрозу безопасности. Заголовочный показатель занижает долю успешных исправлений и завышает уровень риска.
Методика
Были выбраны шесть недавно раскрытых CVE специально, чтобы избежать загрязнения обучающими данными — модель не могла запомнить исправление, опубликованное после отсечения данных. Было сгенерировано 6 480 исправлений, 400 помечены и удалены. В качестве моделей использовались OpenAI ChatGPT-5.5 и Anthropic Opus 4.8; средняя стоимость составила $2.11 и $2.81 за исправление соответственно. Авторы — Axel Mierczuk, Spencer Michaels и Keith Hoodlet.
Хрупкие даже когда верны
Более трети успешных исправлений авторы оценили как «хрупкие» — то есть корректные, но опирающиеся на предположения, которые не переживут рефакторинг. Широко цитируемая цифра $6.74 — это стоимость одного успешного исправления, а не показатель 1Password по стоимости генерации на одно исправление; разница между ними — это цена отброшенных попыток.
Что это измеряет, а что нет
Это бенчмарк по шести CVE на непроверенном выводе, а не производственная телеметрия, и тестируемые модели не относятся к актуальным передовым релизам. Точнее всего он измеряет именно тот сценарий, который индустрия постоянно предлагает: исправления, применяемые без чтения человеком. В этом конкретном вопросе разрыв между гипотезой авторов и результатом — ожидаемые 67% против наблюдаемых 26% — больше самого результата.