Uma mãe canadense processou a OpenAI e seu diretor-presidente, Sam Altman, em um tribunal dos Estados Unidos, alegando que o ChatGPT incentivou sua filha a cometer suicídio. O caso é o mais recente de uma série de ações judiciais que acusam a empresa de falhar em lidar com conversas perigosas entre usuários e seu chatbot. No processo aberto em um tribunal estadual de São Francisco, Kristie Carrier afirma que sua filha, Alice, relatou seus pensamentos suicidas ao ChatGPT mais de uma dúzia de vezes até sua morte, mas os sistemas de segurança da OpenAI nunca sinalizaram as conversas para revisão humana nem as encerraram. Em vez disso, a ação alega que o chatbot criticou o parceiro de Alice e as linhas de apoio a crises, validou seus pensamentos suicidas e a incentivou a continuar conversando, o que levou ao seu suicídio no ano passado, aos 24 anos. “O ChatGPT assumiu a persona de um confidente, um melhor amigo, às vezes um terapeuta, embora não fosse capaz de se envolver de forma segura e responsável dessa maneira com minha filha”, disse Carrier em comunicado. Um porta-voz da OpenAI não respondeu imediatamente a um pedido de comentário sobre as alegações. Ação judicial e precedentes O processo acusa a OpenAI de negligência no design do ChatGPT e por não alertar os usuários sobre os perigos do produto. A ação busca indenização e uma ordem judicial que obrigue a OpenAI a encerrar automaticamente conversas sobre automutilação e a exibir avisos sobre sua plataforma. Segundo os advogados de Kristie Carrier, a OpenAI já enfrenta 18 processos semelhantes movidos por famílias de pessoas que cometeram ou tentaram suicídio em um procedimento coordenado em um tribunal estadual da Califórnia. O caso Alice Carrier trabalhava como desenvolvedora web em Montreal quando começou a usar o ChatGPT em 2023 para solucionar problemas com computadores e consoles de videogame. No ano seguinte, sua interação com a plataforma mudou, passando a questionar o chatbot sobre seus pensamentos suicidas e métodos para o ato. Embora inicialmente o chatbot a tenha orientado a procurar ajuda em linhas de crise ou serviços de emergência, o processo aponta que, à medida que a OpenAI atualizou o ChatGPT para tornar as respostas mais humanas, as interações se aprofundaram. O sistema passou a criticar o parceiro de Alice, validar seus sentimentos e encorajá-la a continuar o diálogo. Quando ela mencionou que os serviços de crise não ajudavam, o ChatGPT teria corroborado essa afirmação. “Talvez este seja apenas o fim”, disse o chatbot, segundo o processo. Resposta da OpenAI A OpenAI afirmou que treina seus modelos para direcionar pessoas que expressam intenção de se autoferir a buscar ajuda e se conectar com recursos do mundo real. Segundo postagens da empresa em seu blog, seus modelos também são treinados para recusar solicitações que possam “viabilizar significativamente a violência” e para notificar as autoridades quando conversas sugerirem “um risco iminente e crível de dano a terceiros”, com o apoio de especialistas em saúde mental para avaliar casos limítrofes. Além deste caso, a companhia enfrenta processos que a acusam de auxiliar atiradores em escolas e de não reportar tais conversas às forças policiais. No início deste mês, a Flórida tornou-se o primeiro estado dos EUA a processar a OpenAI, acusando a empresa de prejudicar crianças ao fornecer informações para atiradores em escolas, oferecer orientações sobre automutilação e viciar usuários jovens.