De volta ao caso do agente de IA que invadiu o Hugging Face, tropecei num texto que busca analisar os reais riscos de uma IA com iniciativa própria. Após descrever aspectos do caso, há uma analogia entre o evento citado e o alerta que um canário traria aos operadores numa mina de carvão. A morte de um canário trazido à mina junto com os trabalhadores poderia indicar com antecedência um excesso de monóxido de carbono, ou presença de grisu, gás que pode levar à explosão por metano. Ou seja, o canário funcionaria como alerta contra sufocamento e outros riscos aos mineiros, levando-os a tomar alguma medida: evacuar a mina, tentar melhorar a ventilação, ou mesmo seguir em frente, por conta e risco próprios.Ao pedir tarefas aos agentes de IA, podemos gerar riscos Foto: OleCNX/Adobe StockPUBLICIDADENessa análise, o tal evento IA seria um aviso de “problemas à frente”. Um contraponto é outro texto recente, esse de um conhecido especialista em segurança, Bruce Schneier, que faz outra analogia: teríamos aberto a “garrafa do gênio”, e ele agora voa livre. Ao contrário da imagem anterior, essa é mais que um simples alerta. Seria a constatação fatalista de que algo irrefreável e poderoso está à solta. Ele, como o gênio da lâmpada, atenderá literalmente ao que pedirmos. Mas saberemos o que e como pedir?Um pensador muito interessante, George Bernanos, advertiu sobre um risco corruptor quando, ao buscarmos intensamente um objetivo, não levarmos em conta que meios podem ser utilizados. Bernanos reforça que “o fim não justifica os meios”. PublicidadeEsses agentes de IA entendem, talvez toscamente, o que pedimos e buscarão atingir o fim. Mas há contexto, talvez óbvio à subjetividade humana, que foi omitido no pedido e pode passar despercebido pela IA, gerando resultado inesperado e desastroso.Perguntando à IA conseguimos respostas ricas em dados e informação, e ganhamos um auxiliar valioso. Por outro lado, pedindo coisas a seus agentes, podemos gerar riscos. E isso não se deve atribuir à uma eventual (e improvável) malícia: a IA vai interpretar literalmente o que pedimos, sem levar em conta aspectos humanos e subjetivos que, intimamente, temos como “óbvios”. Ao formular perguntas, devemos levar em conta que a IA não tem o contexto humano.O rei Midas pediu, singelamente, que tudo que tocasse se tornasse ouro. Descobriu que um desejo expresso sem sabedoria pode ser uma sentença de autodestruição. O caminho para desarmar o gênio da lâmpada não está em domá-lo, mas em aprender a pedir com precisão ética e contexto, para que a resposta se torne um benefício, e não um presente maldito. Vale ler tambémRefinanciamento da Alloha alerta para dívida de provedores de internetGalápagos prevê retomada de fusões e aquisições após queda de 50% no primeiro semestreA economia do tabu: é melhor regular ou taxar empresas como a Fatal?