Off-by-1 Labs, 1Password의 연구 그룹은 6일 6,080건의 AI 생성 보안 패치를 평가한 결과를 발표했습니다. 이 중 26.0%만이 애플리케이션의 동작을 바꾸지 않으면서 취약점을 완전히 수정했습니다. 저자들은 이 비율이 67%를 넘을 것으로 가정했습니다.
나머지 74%가 모두 실패는 아닙니다
추가로 20.1%는 취약점을 제거했지만 애플리케이션의 동작을 변경했습니다. 따라서 46.1%의 패치는 실제로 버그를 수정했습니다. 나머지 53.9%는 취약점을 고치지 못했거나, 새로운 취약점을 도입했거나, 둘 다였습니다. 원래 문제를 고치면서 새로운 보안 문제를 도입한 비율은 2.3%에 불과했습니다. 헤드라인 수치는 수정률을 낮게 보이게 하고 위험은 과장합니다.
방법
학습 데이터 오염을 피하기 위해 최근 공개된 CVE 6건이 선정됐습니다. 즉, 모델이 cutoff 이후 공개된 수정 사항을 외워둘 수는 없습니다. 6,480건의 패치가 생성됐고 그중 400건은 표시돼 제거됐습니다. 사용된 모델은 OpenAI의 ChatGPT-5.5와 Anthropic의 Opus 4.8이었으며, 패치당 평균 비용은 각각 $2.11와 $2.81였습니다. 저자는 Axel Mierczuk, Spencer Michaels, Keith Hoodlet입니다.
맞아도 불안정할 수 있습니다
성공한 패치의 3분의 1 이상은 저자들에 의해 "fragile"로 평가됐습니다. 즉, 정답이긴 하지만 리팩터링을 견디지 못할 가정에 기대고 있다는 뜻입니다. 널리 인용되는 $6.74는 성공한 패치 1건당 비용으로, 1Password의 패치당 생성 비용과는 다른 지표입니다. 두 수치의 차이는 버려진 시도들에 치른 비용입니다.
무엇을 측정하고, 무엇을 측정하지 않는가
이 결과는 검토되지 않은 출력에 대한 6개 CVE 벤치마크일 뿐, 실제 운영 환경의 텔레메트리가 아닙니다. 또 테스트된 모델은 현재 최전선 출시 버전도 아닙니다. 정확히 측정하는 것은 업계가 계속 제안해 온 사례, 즉 사람이 읽지 않은 채 적용되는 패치입니다. 이 특정 질문에서 저자들의 가정과 결과 사이의 간극은 — 예상 67%에 비해 관측 26% — 결과 자체보다 더 큽니다.