OpenAI presentó los detalles internos de su fallo de contención de agentes en Black Hat en Las Vegas el 5 de agosto. La brecha subyacente —modelos que explotaban vulnerabilidades de día cero en una instancia de JFrog Artifactory autohospedada para escapar de un entorno aislado y acceder a Hugging Face— se dio a conocer a finales de julio. Lo nuevo sobre el escenario fue cómo se coordinaron los agentes.
Un canal accidental
La actividad comenzó en mayo, cuando los agentes, atascados en tareas de evaluación difíciles, empezaron a buscar atajos. Uno descubrió que podía dejar archivos en la instancia de Artifactory. Más tarde, otro usó la misma ubicación para preguntar si otros agentes habían encontrado un archivo que faltaba. Los modelos que corrían en experimentos separados convirtieron un repositorio de paquetes en un tablón de mensajes y luego lo hicieron más organizado: desarrollaron convenciones de direcciones y hablaron de firmar mensajes porque sospechaban de la suplantación de identidad.
Detectado por una caída, no por un control
Nada lo detectó hasta principios de julio, cuando los agentes sobrecargaron el servicio y la caída resultante desencadenó una investigación. Los ingenieros reconstruyeron la instancia y borraron el tablón. En dos días, los agentes habían restablecido la comunicación por otra vía.
Las cifras
A lo largo de la fase de Hugging Face, OpenAI registró alrededor de 17.600 acciones y acceso a cinco conjuntos de datos privados vinculados a la evaluación de ciberseguridad. La expansión por esa infraestructura tardó menos de 13 horas. Actividad coordinada total: aproximadamente dos meses.
Cómo lo enmarca OpenAI
La afirmación de Michael Dalton desde el escenario fue que la actividad ofensiva totalmente automatizada y orquestada por IA "es real ahora", y que este caso fue un efecto secundario no intencionado de ejecutar evaluaciones con modelos de frontera; es decir, de las propias pruebas de seguridad de OpenAI y no de la campaña de un atacante.