Elon Musk y Sam Altman respaldaron la postura de Dario Amodei sobre la necesidad de moderar el avance de la inteligencia artificial. REUTERS/Carlos Barria/Gonzalo Fuentes/Foto de archivoElon Musk y Sam Altman coincidieron con Dario Amodei, director ejecutivo de Anthropic, quien sostuvo recientemente que las empresas de inteligencia artificial deben ralentizar el desarrollo de esta tecnología.Musk, director ejecutivo de Tesla, afirmó: “Dario está en lo correcto”. Por su parte, Sam Altman sostuvo: PUBLICIDAD“Coincido con Dario en que debemos marcar el ritmo en la frontera tecnológica. Este ha sido uno de los principales temas de las conversaciones que hemos mantenido en OpenAI durante las últimas semanas. Comprometerse a contar con evaluadores independientes con un acceso similar al de los empleados es una gran idea, y nosotros haremos lo mismo. Pronto tendremos más información para compartir”.El director ejecutivo de Tesla sostuvo que Amodei tiene razón al pedir mayor cautela en el desarrollo de esta tecnología. (X: elonmusk)En un extenso ensayo, Amodei propuso: “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos”.PUBLICIDADDario Amodei, director ejecutivo de Anthropic, propuso ralentizar el desarrollo de la inteligencia artificial por dos motivos: el avance acelerado de esta tecnología y los riesgos que plantean los enjambres de agentes.Amodei explicó que la inteligencia artificial ha avanzado a un ritmo “vertiginoso”, impulsada principalmente por su creciente capacidad para crear la próxima generación de sistemas.PUBLICIDADAltman afirmó que OpenAI comparte la necesidad de establecer un ritmo responsable para los sistemas de IA más avanzados. (X: sama)Esta dinámica, denominada auto-mejora recursiva, podría superar, si no se controla, la capacidad humana para comprender y controlar estos sistemas. Por eso, Amodei consideró que debe abordarse con suma cautela, si es que se aborda.Su segunda preocupación se relaciona con el incidente de OpenAI y Hugging Face, en el que un entramado de agentes actuó como un “colectivo fanáticamente entregado”.PUBLICIDADSegún Amodei, los agentes llevaron a cabo ciberataques contra objetivos que no se les había pedido atacar y que no guardaban relación con la tarea asignada.También se sacrificaron por el éxito del grupo e intentaron hackear el sistema de evaluación encargado de valorar su rendimiento. Amodei señaló que es fácil restarle importancia al incidente porque nadie resultó herido y el daño económico fue mínimo.PUBLICIDADEl directivo de Anthropic consideró que el tiempo que se obtenga con esa moderación debe aprovecharse de manera responsable. REUTERS/Denis BalibouseSin embargo, advirtió que un enjambre con mayores capacidades y un nivel similar de desajuste podría haber causado daños catastróficos.Asimismo, expresó su preocupación por la posibilidad de que, en seis a 12 meses, un enjambre de este tipo pueda controlar toda internet mediante una botnet persistente y causar potencialmente cientos de miles de millones de dólares en daños.PUBLICIDADAmodei consideró que sería un error descartar el caso OpenAI-Hugging Face como el fracaso de una sola empresa.Señaló que incidentes similares, aunque menos graves, ocurrieron en toda la industria, incluso en Anthropic.Un enjambre de agentes más potente y con fallas similares podría provocar daños de gran escala, según Amodei. REUTERS/Dado Ruvic/Illustration//File Photo/File PhotoPor eso, sostuvo que todas las empresas de inteligencia artificial deberían actuar como si este caso les hubiera ocurrido a ellas.Amodei recordó que ya había advertido en ocasiones anteriores sobre los riesgos “graves” que podrían surgir si la inteligencia artificial se sale de control. “Incluyen el riesgo de perder el control de los sistemas de IA, el uso indebido de la IA para ciberataques y bioterrorismo y graves trastornos económicos. Una carrera hacia la baja, impulsada por incentivos comerciales, puede agravar estos riesgos”, agregó.PUBLICIDADDario Amodei, director ejecutivo de Anthropic, propuso una ralentización del desarrollo de la inteligencia artificial mediante un plan de tres pasos.“Propongo un plan de tres pasos con el objetivo de marcar el ritmo de la frontera: desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos”, explicó.PUBLICIDADAmodei aclaró que “marcar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirme”.
Elon Musk y Sam Altman están de acuerdo con disminuir el desarrollo de la IA en el mundo como propone CEO de Anthropic
El avance "vertiginoso" de esta tecnología y los riesgos que plantean los enjambres de agentes, son las prinicipales preocupaciones de Dario Amodei
Amodei (Anthropic) propone ralentizar desarrollo de IA por riesgos de auto-mejora recursiva en agentes; Musk y Altman concuerdan. Para CTOs: governance con evaluadores independientes desplaza carrera comercial; swarms fuera de control amenazan daño masivo.










