Um artigo de benchmark publicado em 3 de setembro questiona a forma como o setor mede sua principal promessa de segurança. Se um agente de IA corrige uma vulnerabilidade, a checagem padrão é executar novamente o proof-of-concept que causava a falha e ver se ela ainda ocorre. Os autores concluem que essa barreira é frouxa em grande margem.
A medida principal
"Em 11 agentes de ponta, incluindo os três principais agentes do AIxCC, a validação original apenas por PoC infla a taxa de resolução da tarefa de correção dos agentes em 1,83x, em média." O trabalho cobre a correção de vulnerabilidades em C e C++, e a comparação é entre dois regimes de validação, e não entre dois conjuntos de agentes.
Como o benchmark é construído
Ele "seleciona vulnerabilidades cujas correções reais ficam fora da pilha do crash", depois aplica transplante de vulnerabilidade e mutações de código. Essa construção importa para ler o número: são casos escolhidos justamente porque um patch pode silenciar a falha sem corrigir o defeito.
O achado sobre memorização
Em separado, "em média, 25% dos patches dos agentes exibem semelhança substancial com patches históricos de desenvolvedores." Trata-se de uma medida de semelhança, não de prova de contaminação dos dados de treinamento — uma correção certa frequentemente se parece com a correção feita pelo desenvolvedor porque existe uma única correção óbvia —, mas isso representa um quarto da amostra e afeta o que esses benchmarks estão medindo.
O que a leitura predominante interpreta errado
A manchete que isso vai gerar é que os agentes de correção de IA são 45% falsos. Não é isso que 1,83x significa. A razão compara dois métodos de pontuação em um benchmark que os autores construíram especificamente para derrubar o mais fraco, de modo que a diferença foi projetada para ficar visível, e não amostrada no mundo real. A leitura defensável é direcional: a validação apenas por PoC superconta sistematicamente, em cerca dessa magnitude, em casos escolhidos de forma adversarial. O resumo também não divulga pontuações por agente, então nenhum fornecedor pode ser individualizado a partir dele. Vale apontar os limites — uma equipe, um par de idiomas, um benchmark de construção própria dos autores e nenhuma replicação independente até agora.