Nos últimos dias convivemos com várias notícias sobre inteligências artificiais fazendo ataques de cibersegurança. No entanto, é fundamental lembrar que a inteligência artificial pode ser ela própria "hackeada". Um estudo recente do professor do MIT Dylan Hadfield-Menell apresenta uma estratégia surpreendentemente eficaz de hackear modelos de IA, mesmo os modelos comerciais mais fechados e restritos.
A estratégia consiste em fazer o modelo confundir quem está falando. Todo modelo de IA trabalha ouvindo vozes. Uma voz é da empresa que o criou, que incorpora diretrizes e travas no modelo (o "system"). Outra é a voz do usuário, que passa tarefas e informações (o "user"). Outra voz é o que o modelo busca de fora, o conteúdo de uma página da web ou um texto ("tools"). E há também sua própria voz, resultado do seu processo de raciocínio interno ("think"). A mistura dessas vozes, cada uma exercendo uma forma de autoridade distinta, é o que leva o modelo ao resultado final.
No estudo, o professor do MIT mostrou que se você escrever um comando para o modelo usando o estilo de linguagem que ele usa para pensar, o modelo acha que está lendo o seu próprio raciocínio e chega a conclusões que quebram suas diretrizes de segurança vindas do "system". A razão é que não há uma identificação categórica entre cada "voz" que o modelo ouve. Ele basicamente distingue quem é quem (inclusive a si mesmo) pelo estilo da escrita.
