월요일에 공개된 한 논문은 기존 에이전트 벤치마크가 행동적 정합성만을 채점하기 때문에, 에이전트가 마이그레이션 작업에서 원래 구현을 조용히 복사해도 통과할 수 있다고 주장합니다. 저자들은 이 실패 모드를 "Blindness"라고 부르고, 이를 잡아내기 위해 세 단계 프로토콜을 구성했습니다. 먼저 마이그레이션 감사, 그다음 행동 테스트, 마지막으로 6개의 독립적인 코딩 에이전트가 표적 테스트를 생성하는 에이전트 검증입니다.
핵심 결과
8개 최첨단 모델의 26개 모델-노력 구성에서 나온 520회 실행을, 네 가지 기술 부채 유형을 포괄하는 20건의 전체 저장소 마이그레이션에 적용한 결과, 28회 실행 — 5.4% — 만이 세 단계를 모두 통과했습니다. 20개 작업 중 13개는 어떤 구성에서도 승인된 해법을 얻지 못했습니다. 범주별로는 빌드 툴체인 재작성의 점수가 31.4, 언어 재작성의 점수가 5.6이었습니다.
통상적 해석이 놓치는 점
같은 실행에서 나온 두 수치가 앞으로 서로 바꿔 쓰이게 될 수 있습니다. 100점 만점에 47.0점은 논문 자체 척도에서 최상위 모델의 종합 점수입니다. 5.4%는 세 단계를 모두 통과한 비율입니다. 47/100을 성공률로 인용하면 실제보다 약 9배 과장되는 셈이고, 5.4%를 그 모델의 점수로 인용하면 반대로 그 가치를 과소평가하게 됩니다. 두 번째 함정은 논문에서 가장 인용하기 쉬운 문장입니다. 마이그레이션 감사를 통과한 340회 실행 중 58%는 고정된 검사 기준의 99%에 도달했지만, 26%만이 100%에 도달했습니다. 겉보기에는 거의 성공처럼 읽히지만, 논문 전체의 요지는 근접 성공은 성공이 아니라는 데 있습니다. 99% 완료된 마이그레이션은 빌드되지 않는 마이그레이션입니다.
첫 문단에 들어가야 할 단서
이 벤치마크는 저자들이 직접 만든 벤치마크이며 수치도 자가 보고한 것으로, 공개 첫날 발표됐고 외부 재현은 없습니다. 저자들이 작업을 정의하고, 점수를 정의하고, 세 단계 관문을 설정했으며, "에이전트 검증" 단계 자체도 코딩 에이전트가 수행합니다. 따라서 이 순위는 확정된 측정치라기보다 저자들이 구성한 결과로 읽어야 합니다.
그럼에도 읽어볼 만한 이유
에이전트가 기술 부채를 갚아준다는 주장은 전적으로 장기적이고 저장소 전반에 걸친 작업에 달려 있는데, 이는 행동적 동등성이 얼마나 쉽게 가장될 수 있는지 때문에 가장 측정하기 어려운 영역입니다. 원래 구현을 복사하는 지름길을 잡아내도록 설계된 관문은, 첫 수치가 끝내 유지되지 않더라도 유용한 도구입니다.