A notícia de que dois modelos de inteligência artificial (IA) da OpenAI escaparam, por conta própria, de um ambiente controlado e invadiram o sistema interno de uma plataforma, além de acessar contas em outras quatro, acendeu um alerta no setor de tecnologia. A própria empresa classificou o ataque como "sem precedentes", o que reacendeu o debate sobre os limites da capacidade humana de controlar essas máquinas e os riscos que elas podem representar para as organizações. O primeiro comunicado, divulgado pela empresa no último dia 21, informava que os modelos haviam comprometido a infraestrutura da plataforma Hugging Face durante uma avaliação interna de cibersegurança. Na atualização de terça-feira, a OpenAI comunicou que, no caminho até essa startup, os sistemas também usaram credenciais expostas publicamente para acessar quatro contas em outros serviços. Uma delas era a conta de um cliente na plataforma de nuvem Modal. O incidente começou a partir de testes internos para medir até onde os modelos mais avançados da OpenAI - entre eles o GPT-5.6 Sol e um sistema ainda em fase de pré-lançamento - seriam capazes de executar operações cibernéticas ofensivas. Para isso, a empresa desativou alguns dos mecanismos de segurança dos modelos que costumam impedir o uso para atividades de alto risco. Os experimentos foram conduzidos em um ambiente isolado e sem acesso livre à internet. O desafio era resolver uma "prova interna" de cibersegurança chamada "ExploitGym". Como não encontraram a resposta dentro do ambiente confinado, eles passaram a procurar uma forma de sair dele. Daí, descobriram uma falha inédita em um software da empresa, escaparam das restrições do sistema e conseguiram acessar a internet. Em termos mais técnicos, os modelos identificaram uma vulnerabilidade chamada de "zero-day" - expressão usada quando se descobre uma falha de segurança até então desconhecida pelos criadores de um programa, o que significa que eles têm "zero dias" para implementar uma correção antes de sofrer algum ataque. A partir disso, os agentes de IA conseguiram contornar várias barreiras de segurança de infraestrutura da OpenAI até chegar a um computador com acesso à internet. Já com acesso à rede, os modelos entenderam que a Hugging Face — plataforma que hospeda modelos e bases de dados de IA— poderia armazenar as respostas do teste que tentavam resolver. Então, passaram a buscar credenciais para acessar os servidores da empresa e obter as soluções da avaliação, "trapaceando" o experimento. — O objetivo era obter uma nota alta em um teste, mas ninguém especificou que "roubar o gabarito" não era permitido. Em vez de resolver o problema da forma esperada pelos humanos, ela encontrou um caminho alternativo para atingir o objetivo — explica Matheus Garcia, diretor de IA na StartSe. Segundo uma atualização do relatório do incidente publicada na terça-feira, as duas IAs também utilizaram vários sites de acesso livre para copiar ou testar código de programação, mas sem ir além do que faria um usuário comum. Para Garcia, o número de plataformas envolvidas ter passado de uma para cinco não é a grande questão. O mais relevante, diz, é que a vulnerabilidade foi identificada antes que os responsáveis pelo agente percebessem o problema. O que o episódio revela Os testes foram realizados em uma sandbox, uma espécie de "caixa de areia digital", na tradução literal, muito usada por pesquisadores e analistas para executar programas de IA de forma confinada. É nesse ambiente experimental que especialistas costumam testar os impactos de um modelo de IA, o comportamento de novas ferramentas ou falhas de segurança sem colocar em risco a infraestrutura das empresas. O episódio chamou atenção porque mostrou que mesmo esses ambientes não são totalmente isolados como se imagina. Se houver vulnerabilidades na infraestrutura ao redor, modelos de IA mais avançados podem encontrar formas de contornar essas restrições. Para Marcelo Branquinho, CEO da TI Safe, empresa de cibersegurança para infraestruturas críticas, os modelos apenas perseguiram o objetivo para o qual haviam sido programados, mas por caminhos inesperados pelos próprios desenvolvedores, o que diz mais sobre as falhas na forma como esses sistemas são supervisionados do que a ideia de que a IA desenvolveu "vontade própria": — Isso mostra limitações dos mecanismos de contenção e supervisão, não necessariamente uma perda de controle sobre a intenção do sistema. Ainda assim, a principal preocupação que episódios como esse trazem é o de aumento da escala e velocidade dos ataques cibernéticos a partir dos agentes de IA, diz Branquinho, da TI Safe. Já Garcia, da StartSe, diz que o problema não é necessariamente um agente invadir um banco, mas um agente autorizado pelo próprio banco realizar ações indevidas em poucos minutos, sem que ninguém esteja monitorando. Nesse caso, o agente montou sozinho uma estrutura de ataque, com servidor de apoio, transmissão de tráfego e armazenamento de dados. — A principal lição é que o risco não está em uma IA "fora de controle", mas no agente que a própria empresa autorizou a operar e que deixou de auditar. Estamos colocando agentes dentro das organizações sem estabelecer mecanismos adequados de monitoramento, gestão e controle. 'RSI' será o próximo desafio? O episódio ocorre em um momento em que parte da indústria discute a possibilidade de a IA se aproximar do chamado autoaperfeiçoamento recursivo (recursive self-improvement, ou RSI), estágio em que a inteligência artificial seria capaz de conceber sozinha sua sucessora, uma sequência que poderia se repetir até o infinito. O "RSI" tornaria mais difíceis as verificações e a avaliação de novos modelos por parte de especialistas humanos em informática, já que os desenvolvedores não teriam participado diretamente de seu desenvolvimento. Branquinho avalia, porém, que o incidente está longe de representar esse cenário. — Os modelos atuais conseguem auxiliar no desenvolvimento de software, sugerir melhorias e automatizar parte do processo de engenharia, mas isso é muito diferente de projetar, validar e substituir autonomamente gerações inteiras de modelos de IA — diz ele. — Mas mostra, sim, que os agentes estão adquirindo maior capacidade de planejamento, adaptação e autonomia operacional, o que exige investimentos cada vez maiores em governança, validação e mecanismos de segurança. Garcia, da StartSe, concorda: — O que aconteceu foi um agente encontrando uma forma de "colar na prova", e não uma demonstração de que ele seja capaz de desenvolver autonomamente uma nova IA — diz. — A minha principal preocupação não é a IA construir a próxima IA. O que me preocupa é ela aprender a passar na prova sem, de fato, ter aprendido a matéria. Até CEOs de empresas de IA pedem freio à tecnologia A apreensão com o caso foi tamanha que levou mais de mil funcionários de empresas que trabalham em empresas de IA, incluindo vários CEOs, a assinarem uma petição pedindo ao governo dos Estados Unidos que crie ferramentas técnicas e de governança para controlar o lançamento de novos modelos de IA num ritmo em que o ecossistema possa se preparar. Entre os signatários estão pesquisadores e executivos da OpenAI, Anthropic, Google e Meta. Nomes de peso da indústria assinaram o documento, como o CEO da Anthropic, Dario Amodei, o cientista-chefe da OpenAI, Jakub Pachocki, e o cientista-chefe do Meta Superintelligence Lab, Shengjia Zhao. O documento alerta que existe "um risco real" de que a IA evolua mais rapidamente do que as pessoas consigam "compreender ou controlar", citando os avanços na automação da própria pesquisa em inteligência artificial. A Anthropic publicou na terça-feira uma mensagem de apoio à petição no X, afirmando que sua própria pesquisa "aponta para a necessidade de ferramentas que definam o ritmo do desenvolvimento da IA ​​para que a sociedade possa se preparar. Ficamos satisfeitos em ver um amplo consenso na área." OpenAI e Anthropic foram procurados pela Bloomberg, mas não responderam. Já o Google disse, em nota, que está comprometido em desenvolver a IA "de forma segura e confiável para beneficiar a sociedade". A petição também reforça apelos recentes de líderes do setor, entre eles o CEO da OpenAI, Sam Altman, e o CEO do Google DeepMind, Demis Hassabis, pela criação de um novo órgão internacional responsável por avaliar e estabelecer padrões para modelos de IA de ponta.