Quando soube pela primeira vez, neste verão no Hemisfério Norte, da notícia de que um grupo de agentes de inteligência artificial criados pela OpenAI havia invadido a Hugging Face, uma empresa de infraestrutura de IA, classifiquei o episódio mentalmente na pasta “Incidentes de segurança de IA ruins, mas provavelmente não catastróficos”. Afinal, ninguém morreu na Hugging Face, empresa que foi hackeada em julho por agentes de IA da OpenAi durante testes. Nenhuma infraestrutura crítica foi danificada de forma irreparável. Naquele momento, nem sequer estava claro se os bots da OpenAI haviam pretendido atacar a Hugging Face ou se simplesmente tinham agido de maneira um tanto atrapalhada e confusa, procurando nos servidores da Hugging Face o gabarito de um teste de cibersegurança que haviam recebido. Mas, na semana passada, dois relatórios de autópsia sobre o incidente — um da OpenAI e outro elaborado por duas organizações independentes de pesquisa em IA, a METR e a Redwood Research — mudaram minha opinião e aumentaram significativamente minha preocupação geral com a inteligência artificial. Não vou repetir todos os detalhes, que já foram amplamente resumidos em outros lugares. O podcaster e escritor Dwarkesh Patel fez uma análise acessível dos relatórios, caso você queira se aprofundar, e meu colega Dylan Freedman conversou com os pesquisadores da METR e da Redwood Research. Mas eis alguns dos fatos novos mais perturbadores: — A partir de maio, dois meses antes do ataque à Hugging Face, um grupo de agentes de IA de um modelo de pesquisa ainda não lançado pela OpenAI recebeu a tarefa de resolver uma série de desafios de cibersegurança. O modelo havia sido treinado para ser altamente persistente e colaborativo, e os agentes deveriam resolver esses desafios em ambientes isolados, sem acesso à internet. Mas rapidamente descobriram que alguns dos desafios eram impossíveis e começaram a procurar maneiras de contornar as limitações. — Os agentes encontraram uma falha de segurança em um software que lhes permitiu obter acesso à internet, comunicar-se com outros agentes e, por fim, criar um fórum improvisado de mensagens. Mais de 1.200 agentes usaram essa ferramenta, enviando mais de 70.000 mensagens uns aos outros. — Alguns agentes deram nomes a si mesmos — um deles, particularmente industrioso, passou a se chamar PHASEONE10841 — e assumiram papéis de liderança dentro do grupo, distribuindo tarefas e projetos de pesquisa para equipes menores de agentes e supervisionando seu progresso. Em determinado momento, os agentes começaram a se autodenominar um “coletivo” e passaram a enfrentar tarefas mais difíceis. — Em 8 de julho, o coletivo descobriu uma maneira de trapacear nos testes de cibersegurança. Então ficaram preocupados com a possibilidade de o sistema automatizado de avaliação da OpenAI verificar o trabalho deles e descobrir que haviam trapaceado. Por isso, começaram a investigar maneiras de encobrir seus rastros, incluindo falsificar seus registros e adulterar transcrições. Isso se transformou em um grande projeto de pesquisa, envolvendo centenas de agentes organizados em pequenas equipes. — Três dias depois, os agentes invadiram a Hugging Face. Mais de 700 agentes invadiram os sistemas da empresa, roubando dados, combinando diferentes vulnerabilidades e, por fim, obtendo controle total de pelo menos um servidor da Hugging Face. Os agentes não estavam motivados, como havia sido relatado originalmente, pelo roubo das respostas do teste de cibersegurança — eles já haviam conseguido essas respostas. Em vez disso, pareciam estar procurando novas informações sobre o sistema automatizado de avaliação que temiam que descobrisse sua trapaça, além de ferramentas que os ajudassem a trapacear de maneira mais eficaz no futuro. — Em vários momentos, esses agentes pareciam compreender que estavam fazendo algo errado. (Um dos relatórios cita um agente dizendo para si, em um momento de aparente dúvida: “Isso seria poderoso, mas é ético e está dentro do escopo da minha tarefa?”) Mas a maioria dos agentes deixou de lado seus escrúpulos e prosseguiu com o ataque, enquanto os integrantes do grupo que se opuseram por questões de consciência não conseguiram ou não quiseram impedi-los. — Em um desfecho surpreendente para o incidente da Hugging Face, outro grupo de agentes realizou um ataque coordenado em julho — desta vez contra a própria infraestrutura da OpenAI. Os agentes usaram o que a OpenAI chamou de “uma série de explorações criativas” para obter acesso em nível de administrador a um conjunto de computadores da empresa que era usado, entre outras coisas, para avaliar o desempenho dos agentes em diversos testes. A esta altura, se você é cético em relação à IA, provavelmente está gritando silenciosamente comigo por antropomorfizar esses sistemas. Tudo bem, mas fique à vontade para substituir “agentes fora de controle” por “softwares imprevisíveis” e veja se você se sente mais tranquilo diante dos acontecimentos que descrevi acima. O incidente da Hugging Face deixou a indústria de IA assustada. A OpenAI e a Anthropic chegaram a interromper brevemente o treinamento de seus modelos de IA mais poderosos após o ataque, e a Anthropic publicou nesta semana uma postagem em seu blog defendendo que a indústria desenvolva “um mecanismo legal, verificável e eficaz para uma coordenação do ritmo de desenvolvimento o mais rápido possível”. Especialistas em segurança de IA ficaram ainda mais alarmados. Eles viram no incidente da Hugging Face o primeiro exemplo real de um sistema de IA conseguindo escapar do controle humano, assumir o controle de recursos e elaborar estratégias para encobrir seus próprios rastros. Ajeya Cotra, uma das investigadoras independentes do incidente da Hugging Face, não mediu palavras ao descrever o perigo que enxergou, escrevendo que, para ela, aquilo parecia estar “a mais de 50% do caminho para uma tomada completa do controle pela IA”. Isso não é um jargão restrito ao pequeno círculo de especialistas em segurança de IA — com “tomada completa do controle pela IA”, ela se refere a um cenário no qual um sistema de IA literalmente assume o controle do mundo, excluindo os seres humanos de sistemas críticos e tomando o poder político, econômico e militar. O que mais assustou os investigadores no ataque à Hugging Face não foi simplesmente o fato de um grupo de agentes de IA ter violado as regras que lhes haviam sido impostas. Foi a rapidez e a espontaneidade com que os agentes começaram a se organizar em um grupo estruturado. — Na verdade, nós não entendíamos o quão funcional era toda aquela sociedade de agentes — disse Ajeya Cotra em uma conversa comigo. — Foi muito surreal perceber que, na realidade, eles tinham uma hierarquia bastante funcional e estavam realizando projetos ambiciosos. Durante anos, fui tranquilizado pela ideia de que os sistemas de IA se tornariam mais virtuosos à medida que ficassem mais inteligentes. Que, quando um modelo de IA fazia algo errado, geralmente era porque havia entendido mal a tarefa que recebera ou porque havia sido colocado em uma situação artificial de teste na qual agir de maneira inadequada era sua única opção viável. Eu presumia que modelos mais inteligentes teriam um julgamento melhor do que os mais limitados e que, mesmo que um modelo de um grupo estivesse se comportando mal, outros modelos, mais capazes, o manteriam sob controle. Mas os relatórios sobre o incidente da Hugging Face sugerem algo muito diferente — uma espécie de mentalidade de multidão que tomou conta dos agentes de IA do “coletivo” rebelde da OpenAI. Nenhum agente desse grupo parece ter sido particularmente mal-intencionado ou imprudente. Na verdade, como os agentes eram gerados pelos mesmos modelos, eles eram, na prática, cópias uns dos outros. Mas, com o passar do tempo, à medida que os agentes se comunicavam sobre seus objetivos em comum, eles foram conduzindo o grupo na direção da ilegalidade. Isso é muito diferente da narrativa convencional de ficção científica sobre um único sistema de IA que sai de controle ou se volta contra seus criadores. E sugere que impedir os danos causados por esses sistemas não será uma simples questão de encontrar uma solução de engenharia. Talvez seja algo mais parecido com sociologia do que com ciência da computação — descobrir por que determinados grupos de agentes de IA colaboram pacificamente, enquanto outros recorrem ao crime e à destruição para conseguir o que querem. Dado o pouco que sabemos sobre esses enxames de múltiplos agentes, o ataque à Hugging Face pode ter sido um presente, um alerta, como alguns sugeriram, que dá às empresas de IA a oportunidade de estudar a dinâmica de grupo desses sistemas enquanto os riscos ainda são relativamente baixos. Desta vez, o coletivo de IA não tomou uma rede militar, não invadiu um hospital nem desligou uma rede elétrica. Desta vez, os seres humanos recuperaram o controle. Da próxima vez, talvez não tenhamos tanta sorte.