A Frontier Red Team da Anthropic, em parceria com a Andon Labs, entregou a 15 modelos de IA os controles de um drone quadricóptero real e pediu que eles voassem por um escritório, encontrassem uma pessoa específica e a seguissem. Os resultados e a suíte de tarefas foram publicados na sexta-feira como Drone-Bench.
Como a avaliação foi feita
A tarefa foi decomposta em cinco subtarefas, incluindo Reconstruct — converter vídeo do escritório em um modelo 3D — e Localize, que consiste em associar a visão do drone a um mapa bidimensional de obstáculos. O ponto de comparação não é um humano sem auxílio: a linha de base foi definida por equipes humano-IA usando agentes de programação. Qualquer enquadramento de "modelos igualam humanos" descreve mal o que foi medido.
Onde está o limite
Detecção e seguimento alcançaram quase 100% da linha de base. A reconstrução chegou a apenas cerca de 47% em meados de 2026, e é o gargalo que trava toda a tarefa. O modelo mais forte superou a linha de base em todas as subtarefas, exceto reconstrução — mas, mesmo assim, ficou acima da linha de base na média em apenas três de cinco.
Limites declarados
A Anthropic publicou as restrições em vez de escondê-las: velocidades lentas do drone, um único layout de andar de escritório, número limitado de pessoas, nenhum teste ao ar livre e nenhuma multidão. Os modelos testados abrangeram 15 lançamentos de três desenvolvedores ao longo de cerca de dois anos de progresso.
Quais modelos
Os 15 abrangem cerca de dois anos de progresso de ponta em três desenvolvedores, indo do GPT-4o e o1 ao Gemini 2.5 Pro e às sucessivas versões do Claude Opus até a geração atual. Lê-los como uma série temporal é o ponto: detecção e seguimento estão perto da saturação, enquanto a reconstrução praticamente não avançou.
A linha de governança
A equipe nomeou diretamente o risco: quando os limiares de confiabilidade forem superados, haverá pressão real para tratar a supervisão humana como um custo, e não como uma salvaguarda.