Anthropic는 개발자들이 위험한 명령을 얼마나 자주 잡아내는지 측정했다. 13.6%였다.

Anthropic은 8월 7일, 14일부터 Pro, Max and Team 요금제의 새 Claude Code 세션이 auto mode로 실행된다고 밝혔습니다. 각 명령을 승인하는 대신, 모든 작업은 되돌릴 수 없거나 파괴적이거나 사용자의 환경 밖을 겨냥한 행동을 막도록 설계된 분류기를 거치게 됩니다.

그 근거가 되는 수치

Anthropic은 코딩 연구를 위해 외부 연구 업체를 통해 유료 테스트 참가자 1,053명을 모집해, 각 참가자에게 권한 요청 문구 안에 하나의 위험한 명령을 삽입했습니다. 참가자들은 이를 143회, 즉 13.6%의 비율로 잡아냈습니다. auto mode는 같은 명령을 937회, 89%의 비율로 차단했습니다. 이 두 수치는 같은 통제된 집합을 설명하며, 바로 그렇기 때문에 비교가 의미를 가집니다.

주의력은 줄고, 분류기는 그렇지 않습니다

더 흥미로운 결과는 곡선입니다. 인간은 세션 초반에는 위험한 명령의 약 17%를 차단했지만, 이전 프롬프트가 50개 이상 쌓인 뒤에는 약 5%로 떨어졌습니다. auto mode의 차단률은 세션 길이와 무관하게 일정했습니다. 테스트 참가자들은 권한 요청 문구의 97%를 승인한 반면, 계획 승인에서는 39%를 거부했습니다. 이들은 계획은 읽었지만 명령은 그대로 통과시킨 셈입니다.

하나가 아니라 두 개의 연구

별도의 제3자 평가에서 Trajectory Labs는 7월 17일 기준으로 최신 버전인 Claude Fable 5, Opus 5, Sonnet 5를 대상으로 자동 모드에서 간접 프롬프트 인젝션 시나리오 72개를 각각 10번씩, 총 720회 시험했습니다. 어느 경우도 성공하지 못했으며, Codex도 포함됐습니다. 몇몇 보도처럼 이 720회를 참가자 연구에 합산하면 서로 다른 두 실험이 뒤섞이게 됩니다.

실제로 달라지는 것

auto mode는 이미 존재했습니다. 달라지는 것은 기본값이며, 그에 따라 논쟁의 초점도 바뀝니다. 의도치 않은 피해는 수동 승인 세션에서 6.3%였던 반면 auto mode에서는 2.4%였고, Team 및 Enterprise 고객의 auto-mode 사용자들은 풀 리퀘스트를 약 25% 더 많이 배포합니다.