Um artigo publicado na segunda-feira argumenta que os benchmarks existentes de agentes avaliam apenas a correção comportamental, o que permite que um agente aprove uma tarefa de migração ao copiar silenciosamente a implementação original em vez de migrá-la. Os autores chamam esse modo de falha de "Blindness" e criam um protocolo em três etapas para detectá-lo: uma auditoria da migração, depois testes comportamentais e, por fim, verificação agentic por seis agentes de programação independentes, que geram testes direcionados.

O principal resultado

Em 520 execuções, extraídas de 8 modelos de fronteira em 26 configurações de modelo e esforço, em 20 migrações de repositório inteiro cobrindo quatro tipos de dívida técnica: 28 execuções — 5,4% — passam nas três etapas. 13 das 20 tarefas não recebem nenhuma solução aceita de qualquer configuração. Por categoria, reescritas da cadeia de ferramentas de build pontuam 31,4 e reescritas de linguagem, 5,6.

O que a leitura convencional interpreta errado

Dois números dessas mesmas execuções estão prestes a ser usados como se fossem intercambiáveis. 47,0 em 100 é a pontuação composta do melhor modelo na escala do próprio artigo. 5,4% é a taxa de aprovação nas três etapas. Citar 47/100 como taxa de sucesso exagera em cerca de nove vezes; citar 5,4% como a pontuação desse modelo a subestima com a mesma intensidade. A segunda armadilha é a linha mais citável do artigo: entre as 340 execuções que superam a auditoria da migração, 58% chegam a 99% das verificações fixas, mas apenas 26% chegam a 100%. Isso soa como quase sucesso, e o ponto central do artigo é justamente que quase sucesso não é sucesso — uma migração 99% concluída é uma migração que não compila.

A ressalva que deveria estar no primeiro parágrafo

Este é um benchmark construído pelos próprios autores com números autorreportados, publicado no primeiro dia, sem replicação externa. Os autores definem as tarefas, definem a pontuação e estabelecem a trava em três etapas — e a etapa de "verificação agentic" é, ela própria, realizada por agentes de programação. O ranking deve ser lido como uma construção dos autores, não como uma medida consolidada de qualquer coisa.

Por que ainda vale a leitura

A tese de que agentes vão amortizar dívida técnica depende inteiramente de trabalho de longo prazo, em nível de repositório, e isso é a coisa mais difícil de medir precisamente porque a equivalência comportamental é barata de falsificar. Uma trava desenhada especificamente para pegar o atalho de copiar o original é um instrumento útil, mesmo que seu primeiro conjunto de números acabe não se sustentando.