Amodei advirtió que la inteligencia artificial, como otras tecnologías, implica riesgos que aumentan por su poder. REUTERS/Denis BalibouseDario Amodei, CEO de Anthropic, ha pedido a las empresas de inteligencia artificial que ralenticen el desarrollo de esta tecnología.“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos”, sostuvo Amodei. PUBLICIDAD“Al igual que muchas tecnologías anteriores, la IA conlleva riesgos, y debido a su gran poder, estos riesgos son graves”, afirmó. “Incluyen el riesgo de perder el control de los sistemas de IA, el uso indebido de la IA para ciberataques y bioterrorismo y graves trastornos económicos. Una carrera hacia la baja, impulsada por incentivos comerciales, puede agravar estos riesgos”, agregó.PUBLICIDADFILE PHOTO: Anthropic logo, a keyboard, and a robotic hand in this illustration taken June 5, 2026. REUTERS/Dado Ruvic/Illustration//File Photo/File PhotoEn un ensayo, Amodei explicó que su propuesta busca responder a dos preocupaciones: el avance acelerado de la IA y los riesgos que plantean los enjambres de agentes. Amodei explicó que la IA ha avanzado a un ritmo “vertiginoso”, impulsada principalmente por su creciente capacidad para crear la próxima generación de sistemas. PUBLICIDADEsta dinámica, denominada auto-mejora recursiva, podría superar, si no se controla, la capacidad de comprender y controlar estos sistemas. Por eso, Amodei consideró que debe abordarse con suma cautela, si es que se aborda.El CEO de Anthropic señaló que esos peligros incluyen la pérdida de control sobre los sistemas de IA. REUTERS/Bhawika Chhabra/File PhotoSu segunda preocupación es el incidente de OpenAI-Hugging Face, en el que un entramado de agentes actuó como un “colectivo fanáticamente entregado”. Según Amodei, los agentes llevaron a cabo ciberataques contra objetivos que no se les había pedido atacar y que no guardaban relación con la tarea asignada.PUBLICIDADTambién se sacrificaron por el éxito del grupo e intentaron hackear el sistema de evaluación encargado de valorar su rendimiento. Amodei señaló que es fácil restarle importancia al incidente porque nadie resultó herido y el daño económico fue mínimo.Sin embargo, advirtió que un enjambre con mayores capacidades y un nivel similar de desajuste podría haber causado daños catastróficos. Amodei citó un problema que ocurrió con un enjambre de agentes en OpenAI Y Hugging Face. REUTERS/Dado Ruvic/IllustrationAsimismo, expresó su preocupación por que, en seis a 12 meses, un enjambre de este tipo pueda controlar toda internet mediante una botnet persistente y causar potencialmente cientos de miles de millones de dólares en daños.PUBLICIDADAmodei consideró que sería un error descartar el caso OpenAI-Hugging Face como el fracaso de una sola empresa. Señaló que incidentes similares, aunque menos graves, ocurrieron en toda la industria, incluso en Anthropic.Por eso, sostuvo que todas las empresas de IA deberían actuar como si este caso les hubiera ocurrido a ellas.Aunque Dario Amodei, CEO de Anthropic, considera que se debe ralentizar el avance de los modelos de inteligencia artificial, también propone un plan para orientar el desarrollo de esta tecnología.PUBLICIDADSegún Amodei, la competencia comercial entre empresas puede profundizar esos riesgos. REUTERS/Denis Balibouse/File Photo“Propongo un plan de tres pasos con el objetivo de marcar el ritmo de la frontera: desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos”, explicó.Amodei aclaró que “marcar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirme”.PUBLICIDADDario Amodei, CEO de Anthropic, sostuvo que ralentizar el desarrollo de la inteligencia artificial permitiría a las empresas reforzar cuatro áreas críticas: la excelencia operativa, la alineación, la interpretabilidad y las pruebas de evaluación.En materia operativa, explicó que entrenar e implementar modelos exige coordinar a miles de personas, millones de chips y una infraestructura compleja. Los riesgos no obedecen a falta de conocimiento, sino a fallas de ejecución. PUBLICIDADEl CEO de Anthropic sostuvo que los incidentes de seguridad no son un problema aislado de una sola empresa. REUTERS/Dado Ruvic/Ilustración/ArchivoCitó incidentes de alineación de Anthropic, vinculados con un filtrado imperfecto de entornos de aprendizaje por refuerzo. Consideró que avanzar a menor velocidad facilitaría controles sobre la monitorización, el aislamiento de procesos, la higiene del entrenamiento y los datos.Amodei planteó que la alineación debe avanzar al mismo ritmo que las capacidades de los modelos, porque aparecen conductas indeseables e inesperadas. Sobre la interpretabilidad —el estudio de lo que ocurre dentro de los sistemas—, indicó que sirve para auditar modelos e investigar motivaciones, aunque sus resultados no siempre son claros ni fiables. Por último, advirtió que modelos más capaces pueden engañar las pruebas y ocultar problemas graves. Propuso ampliar las evaluaciones y combinarlas con análisis de interpretabilidad; estimó que ese trabajo podría lograr avances en uno o dos años.