Solo el 26% de los parches de seguridad generados por IA fueron limpios. Otro 20% corrigió el fallo y rompió la app.

Off-by-1 Labs, el grupo de investigación de 1Password, publicó el 6 de agosto resultados de la evaluación de 6.080 parches de seguridad generados por IA. Solo el 26,0% corrigió por completo la vulnerabilidad sin cambiar el comportamiento de la aplicación. Los autores habían hipotetizado una tasa superior al 67%.

El otro 74% no es todo fracaso

Un 20,1% adicional cerró la vulnerabilidad, pero alteró el comportamiento de la aplicación, de modo que el 46,1% de los parches sí corrigió el fallo. El 53,9% restante no logró remediarlo, introdujo una nueva vulnerabilidad o ambas cosas. Solo el 2,3% introdujo un nuevo problema de seguridad mientras corregía el original. La cifra principal infravalora la tasa de éxito y sobrestima el peligro.

Método

Se eligieron seis CVE divulgados recientemente específicamente para evitar la contaminación por datos de entrenamiento: un modelo no puede haber memorizado una corrección publicada después de su fecha de corte. Se generaron 6.480 parches y se señalaron y eliminaron 400. Los modelos fueron ChatGPT-5.5 de OpenAI y Opus 4.8 de Anthropic, con un coste medio de 2,11 dólares y 2,81 dólares por parche, respectivamente. Los autores son Axel Mierczuk, Spencer Michaels y Keith Hoodlet.

Frágiles incluso cuando aciertan

Más de un tercio de los parches que sí funcionaron fue calificado como "frágil" por los autores: correctos, pero apoyados en supuestos que no resistirían una refactorización. La cifra de 6,74 dólares, ampliamente citada, es el coste por parche exitoso, una métrica distinta del coste de generación por parche de 1Password, y la diferencia entre ambas es el peaje pagado por los intentos descartados.

Lo que mide y lo que no

Se trata de una prueba de referencia con seis CVE sobre resultados no revisados, no de telemetría de producción, y los modelos probados no son las versiones de vanguardia actuales. Lo que mide con precisión es el caso que la industria sigue proponiendo: parches aplicados sin que un humano los lea. En esa pregunta concreta, la brecha entre la hipótesis de los autores y el resultado —67% esperado frente a 26% observado— es mayor que el propio resultado.