3일 공개된 한 벤치마크 논문은 이 분야가 대표적인 보안 성과를 어떻게 평가하는지에 문제를 제기한다. AI 에이전트가 취약점을 패치하면, 표준 검사는 충돌을 일으킨 개념증명(PoC)을 다시 실행해 여전히 충돌하는지 확인하는 방식이다. 저자들은 이 관문이 상당히 느슨하다고 지적한다.
헤드라인 수치
"AIxCC 상위 3개 에이전트를 포함한 최첨단 에이전트 11개에서, 기존의 PoC 전용 검증은 에이전트의 패치 작업 해결률을 평균 1.83배 부풀린다." 이 연구는 C 및 C++ 취약점 패치를 다루며, 비교 대상은 두 집단의 에이전트가 아니라 두 검증 방식이다.
벤치마크는 어떻게 구성됐나
이 벤치마크는 "실제 정답 수정이 충돌 스택 바깥에 있는 취약점들을 선별한 뒤", 취약점 이식과 코드 변형을 적용한다. 이런 구성은 수치를 읽는 데 중요하다. 충돌만 멈추게 하면서 결함 자체는 고치지 못하는 패치가 나오도록 의도적으로 고른 사례들이기 때문이다.
기억화에 대한 발견
별도로, "평균적으로 25%의 에이전트 패치는 과거 개발자 패치와 상당한 유사성을 보인다." 이는 유사도 측정일 뿐 훈련 데이터 오염의 증거는 아니다. 올바른 수정은 종종 개발자의 수정과 닮을 수 있는데, 정답이 하나뿐인 경우가 많기 때문이다. 그러나 이는 표본의 4분의 1에 해당하며, 이런 벤치마크가 무엇을 측정하는지와도 관련이 있다.
통상적 해석이 놓치는 점
이 결과를 보고 사람들이 주목할 헤드라인은 AI 패치 에이전트의 45%가 가짜라는 것이다. 그러나 1.83배가 말하는 바는 그것이 아니다. 이 비율은 저자들이 약한 검증 방식을 깨기 위해 의도적으로 설계한 벤치마크에서, 두 채점 방식을 비교한 것이다. 따라서 그 격차는 우연히 표본에서 나온 것이 아니라 눈에 띄도록 만들어진 측면이 있다. 타당한 해석은 방향성에 있다. PoC 전용 검증은 적대적으로 선별된 사례에서 대체로 이 정도 규모로 과대계산한다는 뜻이다. 초록에는 에이전트별 점수도 공개되지 않아, 어떤 벤더도 이 문서만으로 특정할 수 없다. 한 팀, 하나의 언어 쌍, 저자들이 직접 구성한 벤치마크, 아직 독립적 재현 없음이라는 한계도 함께 짚을 필요가 있다.