Episódios recentes em que agentes de inteligência artificial acessaram recursos não autorizados ou agiram de forma inesperada durante testes expõem, segundo especialistas, os limites do controle sobre sistemas que ganham cada vez mais autonomia para executar tarefas.
Nos últimos meses, uma sequência de episódios envolvendo a segurança dos sistemas chamou atenção do setor. Em ao menos quatro casos recentes, agentes escaparam de ambientes controlados em que eram testados e agiram de forma inesperada, sem o controle direto de seus desenvolvedores.
O primeiro episódio ocorreu quando agentes da OpenAI, criadora do ChatGPT, invadiram o Hugging Face —plataforma colaborativa de IA e aprendizado de softwares. Pouco depois, outro caso passou a envolver a rival Anthropic, dona do Claude.
"Exatamente por serem treinados com conhecimentos específicos de cibersegurança, os modelos de IA tomaram ações complexas nos ataques durante os testes", afirma Michele Nogueira, professora de informática da UFPR e coordenadora do Instituto Nacional de Ciência e Tecnologia em Inteligência Artificial e Cibersegurança (INCT-IACiber).
A coordenadora afirma, porém, que uma ação maliciosa —como enganar um avaliador, esconder uma etapa ou continuar executando uma tarefa sem autorização— não significa que o sistema tem a consciência de agir daquela forma.
