Un artículo de benchmark publicado el 3 de septiembre pone en cuestión la forma en que el sector puntúa su principal reivindicación de seguridad. Si un agente de IA parchea una vulnerabilidad, la comprobación estándar consiste en volver a ejecutar la prueba de concepto que provoca el fallo y ver si sigue fallando. Los autores concluyen que ese filtro es muy permisivo.
La medición principal
"En 11 agentes de vanguardia, incluidos los tres primeros agentes de AIxCC, la validación original solo con PoC infla la tasa de resolución de la tarea de parcheado de los agentes en 1,83x de media." El trabajo abarca el parcheado de vulnerabilidades en C y C++, y la comparación es entre dos regímenes de validación, no entre dos grupos de agentes.
Cómo se construye el benchmark
"Selecciona vulnerabilidades cuyos arreglos de referencia quedan fuera de la pila de crash", y después aplica trasplante de vulnerabilidades y mutaciones de código. Esa construcción importa para interpretar la cifra: se trata de casos elegidos precisamente porque un parche puede silenciar el crash sin corregir el defecto.
El hallazgo sobre memorización
Por separado, "de media, el 25% de los parches de los agentes muestran una similitud sustancial con parches históricos de desarrolladores." Se trata de una medida de similitud, no de una prueba de contaminación de los datos de entrenamiento —un arreglo correcto suele parecerse al del desarrollador porque existe una única corrección obvia—, pero sí afecta a una cuarta parte de la muestra y tiene implicaciones sobre lo que miden estos benchmarks.
Qué falla en el marco interpretativo habitual
El titular que atraerá esto es que los agentes de parcheado con IA son un 45% falsos. Eso no es lo que significa 1,83x. La ratio compara dos métodos de puntuación en un benchmark que los autores construyeron precisamente para romper el más débil, de modo que la brecha está diseñada para ser visible y no procede de una muestra del mundo real. La lectura defendible es direccional: la validación solo con PoC sobrecuenta sistemáticamente, aproximadamente en esta magnitud, en casos elegidos de forma adversarial. El resumen también no ofrece puntuaciones por agente, así que no puede señalarse a ningún proveedor a partir de él. Conviene señalar los límites: un equipo, un par de lenguajes, un benchmark de construcción propia y todavía sin replicación independiente.