Apenas 26% das correções de segurança escritas por IA foram limpas. Mais 20% corrigiram o bug e quebraram o app.

Off-by-1 Labs, o grupo de pesquisa da 1Password, publicou em 6 de agosto os resultados da avaliação de 6.080 correções de segurança geradas por IA. Apenas 26,0% resolveram completamente a vulnerabilidade sem alterar o comportamento do aplicativo. Os autores haviam hipotetizado uma taxa acima de 67%.

Os outros 74% não são todos fracasso

Mais 20,1% encerraram a vulnerabilidade, mas alteraram o comportamento do aplicativo — portanto, 46,1% das correções de fato resolveram o bug. Os 53,9% restantes não remediaram, introduziram uma nova vulnerabilidade, ou ambos. Apenas 2,3% introduziram um novo problema de segurança ao corrigir o original. O número de destaque subestima a taxa de correção e superestima o perigo.

Método

Seis CVEs divulgados recentemente foram escolhidos especificamente para evitar contaminação dos dados de treinamento — um modelo não pode ter memorizado uma correção publicada depois do seu corte de conhecimento. Foram geradas 6.480 correções, e 400 foram sinalizadas e removidas. Os modelos foram o ChatGPT-5.5, da OpenAI, e o Opus 4.8, da Anthropic, com custo médio de $2.11 e $2.81 por correção, respectivamente. Os autores são Axel Mierczuk, Spencer Michaels e Keith Hoodlet.

Frágeis mesmo quando certas

Mais de um terço das correções que tiveram sucesso foi classificado como "frágil" pelos autores — correto, mas baseado em premissas que não sobreviveriam a uma refatoração. O valor amplamente citado de $6.74 é o custo por correção bem-sucedida, uma métrica diferente do custo de geração por correção da 1Password, e a diferença entre as duas é o preço pago pelas tentativas descartadas.

O que mede e o que não mede

Este é um benchmark de seis CVEs sobre saída não revisada, não telemetria de produção, e os modelos testados não são os lançamentos mais avançados atuais. O que ele mede com precisão é o caso que a indústria vem propondo: correções aplicadas sem que um humano as leia. Nessa questão específica, a distância entre a hipótese dos autores e o resultado — 67% esperado contra 26% observado — é maior do que o próprio resultado.