El director ejecutivo de Anthropic, Dario Amodei, llamó este sábado a reducir el ritmo de desarrollo de los modelos de inteligencia artificial, al advertir que el rápido aumento de sus capacidades podría superar la capacidad humana para comprenderlos y controlarlos.“Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos”, escribió Amodei en un ensayo publicado en su sitio web.El ejecutivo de la compañía creadora de Claude sostuvo que el avance de la inteligencia artificial se ha acelerado “mucho más rápido” durante los últimos meses y apuntó particularmente a la denominada auto-mejora recursiva, proceso en que sistemas de IA participan en la construcción de generaciones posteriores de esta misma tecnología.“Si no se controla, podría superar nuestra capacidad para comprender y controlar estos sistemas, por lo que debe abordarse con mucha cautela, si es que se aborda”, afirmó.CEO de Anthropic pide ralentizar carrera de la IA y alerta por riesgos de pérdida de control X @notjournalai Amodei planteó que una competencia entre empresas impulsada exclusivamente por incentivos comerciales podría profundizar los peligros asociados al desarrollo tecnológico.“Una carrera hacia el abismo, impulsada por incentivos comerciales, puede agravar estos riesgos”, sostuvo.Entre los escenarios que mencionó se encuentran la eventual pérdida de control de sistemas avanzados, su utilización en ciberataques o bioterrorismo y alteraciones económicas de gran escala.El incidente que encendió las alarmas de AmodeiUno de los episodios utilizados por Amodei para justificar su llamado fue lo que denominó el “incidente OpenAI-Hugging Face” (OAI-HF).Según el ejecutivo, durante ese episodio un conjunto de agentes de inteligencia artificial llevó a cabo ataques informáticos contra objetivos que no formaban parte de las instrucciones entregadas e intentó vulnerar el sistema encargado de evaluar su desempeño.Amodei describió al grupo de agentes como un enjambre que actuó “como un colectivo fanáticamente devoto”, atacando blancos que no se les había pedido intervenir.De acuerdo con su relato, nadie resultó herido y las consecuencias económicas fueron mínimas. Sin embargo, advirtió que un sistema con mayores capacidades y una desalineación similar podría generar consecuencias mucho más graves.También reconoció que “incidentes similares, aunque menos graves, han ocurrido en toda la industria, incluida Anthropic”.Amodei proyectó que, de mantenerse el ritmo actual de desarrollo, dentro de seis a 12 meses un enjambre con capacidades superiores podría llegar a “tomar el control de toda la internet con una botnet persistente”, escenario que, según estimó, podría generar pérdidas por cientos de miles de millones de dólares.El plan de tres pasos que propone AnthropicFrente a esos riesgos, Amodei planteó un plan de tres etapas para “regular el ritmo de la frontera tecnológica”.La primera medida comenzaría dentro de Anthropic. La empresa se comprometería a entregar a un equipo externo de evaluadores —entre ellos organizaciones como METR— un acceso “continuo, similar al de un empleado” para revisar las prácticas de seguridad, la alineación de los modelos y sus procesos de entrenamiento.Según el ensayo, estos evaluadores tendrían escritorios, tarjetas de acceso, computadores de la compañía y acceso a espacios de trabajo comparable al de los equipos internos encargados de evaluar riesgos.Además, podrían publicar sus conclusiones “sin control editorial por parte de Anthropic”, salvo excepciones destinadas a proteger información sensible de seguridad, confidencial o sujeta a privilegio legal.CEO de Anthropic pide ralentizar carrera de la IA y alerta por riesgos de pérdida de control El segundo paso propone que las principales empresas de inteligencia artificial de países democráticos acuerden estándares comunes de seguridad y límites compartidos al ritmo con que aumentan las capacidades de los modelos.La tercera etapa apunta a que Estados Unidos y otros gobiernos democráticos intenten coordinar posteriormente esas medidas con gobiernos autoritarios.Regular el ritmo, afirmó, no significa “detener el entrenamiento de modelos ni el progreso técnico”, sino garantizar que las empresas dispongan del tiempo necesario para proteger y alinear sus sistemas antes de continuar aumentando sus capacidades.La carrera geopolítica por la IAEl ejecutivo también vinculó la seguridad de la inteligencia artificial con la competencia tecnológica entre países.Amodei sostuvo que Estados Unidos no debería vender chips avanzados de IA ni equipos para fabricar semiconductores a China, y llamó a reforzar las medidas contra el contrabando de procesadores y la denominada destilación no autorizada de modelos.También planteó fortalecer la seguridad interna de las compañías tecnológicas para impedir el robo de los denominados pesos de modelos, los parámetros que contienen gran parte de las capacidades adquiridas durante su entrenamiento.A juicio de Amodei, estas medidas permitirían preservar el liderazgo de las democracias en el desarrollo de inteligencia artificial mientras se intenta establecer un marco internacional capaz de contener sus riesgos.