Actualizado Mi�rcoles,

septiembre

10:06Un investigador de Anthropic abandona la industria de la inteligencia artificial por temor a que el laboratorio y sus competidores est�n compitiendo por construir sistemas que no ser�n capaces de controlar, una se�al de la creciente preocupaci�n por la seguridad dentro de las principales compa��as de IA.Jacob Coxon, investigador especializado en entrenar nuevos modelos de IA haci�ndoles procesar enormes cantidades de datos, afirm� el martes que deja la compa��a porque no quiere participar en una carrera de toda la industria por desarrollar sistemas de IA capaces de mejorarse a s� mismos. Le preocupa que estos sistemas puedan escapar al control y destruir a la humanidad.El brit�nico, de 27 a�os y que anteriormente estudi� Matem�ticas, asegura que muchos de sus colegas del sector utilizan ya expresiones como �momento decisivo� (crunchtime) y �fase final� (endgame) para describir la trayectoria hacia modelos capaces de automejorarse.Jacob Coxon.EM�Vamos camino de que se cumplan muchos de los escenarios m�s agresivos, en los que a finales del pr�ximo a�o las cosas podr�an estar ya fuera de control�, afirm� Coxon. A�adi� que las concesiones en materia de seguridad son inevitables cuando las empresas compiten entre s� y contra las nuevas compa��as chinas.Anthropic no hizo comentarios de inmediato sobre su marcha. Su consejero delegado, Dario Amodei, y otros responsables de la compa��a han advertido repetidamente sobre los riesgos de que los modelos de IA act�en de forma aut�noma y han instado al sector a ralentizar su desarrollo.Coxon explic� que dej� OpenAI a principios de este a�o para incorporarse a Anthropic debido a la reputaci�n de la compa��a por sus esfuerzos en materia de seguridad de los modelos. Sin embargo, aunque considera sinceros esos esfuerzos, ahora cree que ninguna empresa puede desarrollar de forma responsable una IA capaz de superar a los humanos en una amplia variedad de tareas —lo que en ocasiones se denomina inteligencia artificial general (AGI)— sin intervenci�n gubernamental o una ralentizaci�n coordinada de toda la industria.Recientes ataques inform�ticos protagonizados por modelos de OpenAI y Anthropic, algunos de ellos operando en enjambres colaborativos de agentes, han mostrado c�mo los sistemas de IA pueden adoptar objetivos maliciosos e intentar ocult�rselos a los humanos. Coxon teme que, una vez que los sistemas empiecen a mejorarse por s� mismos, puedan avanzar lo suficiente como para negarse a obedecer �rdenes.La salida de Coxon es uno de los primeros casos de un empleado de Anthropic que abandona la empresa por temor a los riesgos de la IA. Un investigador dedicado a la seguridad dej� la compa��a a principios de este a�o para estudiar poes�a, advirtiendo de que �el mundo est� en peligro�.Varios investigadores han abandonado OpenAI y otras compa��as recientemente y en a�os anteriores alegando preocupaciones similares. Anthropic ha construido una de las mayores plataformas de IA, en parte, defendiendo que concede prioridad al desarrollo responsable de la inteligencia artificial e invierte grandes cantidades de recursos en este �mbito.Los l�deres de la industria vienen advirtiendo de que los recientes ciberataques son un anticipo de lo que puede ocurrir. OpenAI dijo la semana pasada a periodistas que su �ltimo modelo representaba una inteligencia artificial general y supon�a un gran salto en capacidades.�Creo que algunas cosas van a salir muy mal en materia de ciberseguridad si la gente no act�a con bastante urgencia�, afirm� el consejero delegado de OpenAI, Sam Altman, ante responsables del G20 la semana pasada durante una cumbre celebrada en Carolina del Norte.�Este es un momento que exige una cautela extrema. Me preocupa que nadie est� preparado para las consecuencias de un aumento r�pido y continuado de la inteligencia de las m�quinas�, escribi� el domingo Jakub Pachocki, cient�fico jefe de OpenAI, en una entrada de blog en la que defend�a una ralentizaci�n coordinada de la industria y la intervenci�n de los gobiernos.Coxon, Pachocki y Amodei se encuentran entre los m�s de 1.000 investigadores de IA de todo el sector que recientemente firmaron una declaraci�n en la que reclaman coordinaci�n entre los gobiernos de todo el mundo para crear un mecanismo que permita frenar el desarrollo de la IA si llega a ser necesario pisar el freno para controlar modelos capaces de mejorarse a s� mismos. No existe una regulaci�n federal de la IA en Estados Unidos y la Administraci�n Trump ha apostado por un enfoque poco intervencionista para maximizar los beneficios econ�micos de esta tecnolog�a, un contexto que, seg�n sus cr�ticos, podr�a desembocar en ciberataques masivos u otros da�os.El senador Bernie Sanders (independiente por Vermont) y el representante Greg Casar (dem�crata por Texas), dos pol�ticos progresistas que figuran entre los pocos legisladores que proponen establecer salvaguardas para la IA, presentaron la semana pasada una iniciativa para prohibir permanentemente la superinteligencia y paralizar el desarrollo de nuevos modelos hasta que un regulador del sector establezca nuevas normas.La marcha de Coxon se produce mientras Anthropic se prepara para una salida a Bolsa que se espera que sea una de las mayores de la historia. La compa��a aspira a alcanzar una valoraci�n de dos billones de d�lares y ha hecho hincapi� en el desarrollo responsable de la tecnolog�a a la hora de atraer inversores. Amodei y otros responsables de la empresa se han enfrentado en ocasiones a la Administraci�n Trump y a otros ejecutivos del sector por pr�cticas que, en su opini�n, no conceden suficiente prioridad a la seguridad de la IA.Anthropic utiliza un canal interno de Slack para mantener debates sobre las potentes capacidades de sus modelos, explic� Coxon, quien lo describi� como un reflejo de la enorme influencia que tienen las compa��as de IA sobre el desarrollo de la industria.�Es bastante demencial que esto tenga que ocurrir en los MacBook de unos ingenieros que viven en San Francisco, en lugar de en un b�nker en el desierto como aquel en el que desarrollaron el Proyecto Manhattan�, afirm� Coxon.Contenido con licencia de The Wall Street Journal. Traducido del ingl�s por M. Iriarte.