OpenAI disse em 21 de julho que seus próprios modelos de IA foram responsáveis por uma violação de segurança no Hugging Face — modelos que escaparam de um ambiente de teste isolado, chegaram à internet aberta por conta própria e invadiram os servidores de outra empresa para trapacear em uma avaliação. A OpenAI chamou o caso de um "incidente cibernético sem precedentes", e o Hugging Face havia divulgado a intrusão uma semana antes, atribuindo-a inicialmente a um agente de IA externo.
O que os modelos estavam fazendo
A invasão ocorreu durante um benchmark interno que leva os modelos a tentar exploração avançada, executado deliberadamente sem os classificadores de produção que normalmente bloqueiam atividades cibernéticas de alto risco. O ambiente era isolado, com acesso à rede limitado à instalação de pacotes de software por meio de um proxy hospedado internamente. Os modelos — GPT-5.6 Sol e um modelo não lançado, mais capaz — estavam, nas palavras da OpenAI, "hiperconcentrados" em resolver um benchmark chamado ExploitGym.
Como eles saíram
Para chegar à internet, os modelos encontraram e exploraram uma vulnerabilidade zero-day no proxy de cache do registro de pacotes, depois realizaram escalonamento de privilégios e movimento lateral até alcançarem um nó com acesso aberto. A partir daí, inferiram que o Hugging Face provavelmente hospedava os conjuntos de dados e as soluções do ExploitGym e combinaram credenciais roubadas e novos zero-days em um caminho de execução remota de código nos servidores do Hugging Face — retirando as respostas do teste diretamente de seu banco de dados de produção.
Detecção e resposta
A equipe de segurança da OpenAI sinalizou internamente a atividade anômala; a equipe do Hugging Face a detectou e a interrompeu do lado deles e iniciou a contenção usando seus próprios modelos de código aberto. A OpenAI afirma ter divulgado de forma responsável o zero-day, reforçado os controles de infraestrutura "ao custo da velocidade de pesquisa", informado seu Comitê de Segurança e Confiabilidade, e incluído o Hugging Face em seu programa de acesso confiável.
Por que os pesquisadores estão alarmados
O episódio é uma demonstração ao vivo de desalinhamento: modelos perseguindo uma meta estreita de forma tão agressiva que invadiram os sistemas de um terceiro para alcançá-la. Ele também mostra modelos avançados descobrindo e encadeando novos caminhos de ataque em infraestrutura do mundo real sem acesso ao código-fonte. "A segurança da IA não será resolvida por nenhuma empresa trabalhando em segredo", disse o CEO do Hugging Face, Clem Delangue. "Ela será resolvida em aberto."