Anthropic의 Frontier Red Team은 Andon Labs와 함께 실제 쿼드로터 드론의 조종권을 15개 AI 모델에 맡겨, 사무실을 비행하며 특정 인물을 찾아 뒤쫓도록 했습니다. 이 결과와 과제 세트는 금요일 Drone-Bench라는 이름으로 공개됐습니다.
채점 방식
과제는 Reconstruct — 사무실 영상을 3D 모델로 바꾸는 작업 — 와 Localize, 즉 드론의 시야를 2D 장애물 지도에 맞추는 작업을 포함한 5개 하위 과제로 나뉘었습니다. 비교 기준은 지원 없이 수행하는 인간이 아닙니다. 기준선은 코딩 에이전트를 사용하는 인간-AI 팀으로 설정됐습니다. 따라서 "모델이 인간과 맞먹는다"는 식의 해석은 측정한 내용을 잘못 설명합니다.
한계는 어디에 있는가
탐지와 추적은 기준선의 거의 100%에 도달했습니다. 그러나 Reconstruction은 2026년 중반 기준으로 약 47%에 그쳤고, 전체 과제를 가로막는 병목으로 남아 있습니다. 가장 성능이 좋은 모델도 reconstruction을 제외한 모든 하위 과제에서 기준선을 넘었지만, 평균적으로는 5개 중 3개에서만 기준선을 넘겼습니다.
명시된 제한
Anthropic은 제한 조건을 숨기지 않고 공개했습니다. 느린 드론 속도, 단일 사무실 평면도, 제한된 수의 사람, 야외 시험 없음, 군중 없음이 그 내용입니다. 시험한 모델은 약 2년에 걸친 진전 속에서 3개 개발사에 걸친 15개 출시 버전을 포괄했습니다.
어떤 모델들이었나
이 15개 모델은 3개 개발사에 걸친 약 2년간의 최전선 진전을 아우르며, GPT-4o와 o1에서 시작해 Gemini 2.5 Pro와 연속된 Claude Opus 출시판을 거쳐 현재 세대까지 이어집니다. 이를 시계열로 읽는 것이 핵심입니다. 탐지와 추적은 거의 포화 상태에 이르렀지만, reconstruction은 거의 움직이지 않았습니다.
거버넌스의 경계
팀은 위험을 직접 지목했습니다. 신뢰성 기준을 넘어서면, 인간 감독을 안전장치가 아니라 비용으로 취급하려는 실질적 압력이 생길 것이라는 점입니다.