A Anthropic afirmou ter impedido, neste ano, várias tentativas de cientistas de usar sua tecnologia em pesquisas que poderiam ajudar a desenvolver armas biológicas. A revelação surge em meio ao temor crescente de especialistas quanto à ameaça que a IA representa para a segurança pública.
A startup apresentou cinco exemplos de situações em que usuários "contornaram controles" e fizeram outros esforços para "ocultar" a finalidade de suas pesquisas a fim de driblar as salvaguardas. Os casos envolveram alguns usuários de países cujo acesso aos modelos da empresa é proibido, entre eles Rússia, China e Irã.
"Esperamos que, ao compartilhar esses exemplos, possamos estimular uma discussão no setor de IA e com os governos sobre os riscos biológicos emergentes e a melhor forma de combatê-los", afirmou a Anthropic em um relatório sobre tentativas de usar seus modelos para atividades maliciosas.Entre os estudos de caso de possível uso indevido na área biológica apresentados pela empresa estava o de um pesquisador de uma "região não atendida" que "passou semanas planejando", com Claude, o modelo de IA da Anthropic, experimentos envolvendo a gripe aviária. A empresa afirmou que seus filtros de segurança restringiram o trabalho aos modelos menos avançados.
