Antes de que la semana pasada se desatara el pesimismo, los investigadores de OpenAI estaban euf�ricos.La empresa afirmaba que su �ltimo modelo interno de IA hab�a resuelto uno de los c�lebres y complejos problemas matem�ticos del Premio del Milenio, un experimento en el que se embarcaron tras ver rumores en internet de que su gran rival, Anthropic, ya lo hab�a conseguido. Los investigadores se llamaban entusiasmados unos a otros y celebraban su victoria public�ndolo en Slack.El avance se vio internamente como una victoria en una despiadada carrera comercial por crear herramientas de IA m�s inteligentes que los humanos, una carrera de billones de d�lares que promet�a una lluvia de riqueza y poder sin precedentes cuando ambas empresas salieran finalmente a bolsa (previsto provisionalmente para finales de este mismo a�o).Pero tambi�n era la se�al de un problema explosivo para la industria que estaba a punto de estallar. El desarrollo de la IA avanza a toda velocidad -mucho m�s r�pido de lo esperado-, lo que alimenta una creciente sensaci�n de temor dentro de las propias empresas ante el peligro de que la situaci�n se les vaya de las manos.Ese mismo martes, el investigador de Anthropic Jacob Coxon anunci� que dimit�a por temor a que su empresa y sus competidores estuvieran desarrollando herramientas capaces de automejorarse que podr�an destruir a la humanidad. Un destacado cient�fico de la compa��a, Evan Hubinger, escribi� en X que cre�a que hab�a m�s de un 10% de probabilidades de que la IA acabe con todos los seres humanos en la pr�xima d�cada. Drake Thomas, empleado del equipo de seguridad de Anthropic, public� en X que "quemar�a mis acciones sin pensarlo si eso aumentara un 1% las posibilidades de que salgamos vivos de esta situaci�n".El choque entre el progreso cient�fico, el imperativo moral y el incentivo financiero ha desatado una crisis en el sector. El desarrollo de la IA ha impulsado el crecimiento del mercado burs�til durante el �ltimo a�o, un fen�meno que cobra a�n m�s peso ahora que Anthropic y OpenAI est�n a las puertas de salir a bolsa con valoraciones que podr�an alcanzar los billones de d�lares. La competencia procedente de China no ha hecho m�s que elevar la apuesta.Sin embargo, las tajantes advertencias que lanzan desde dentro algunos empleados de las propias empresas son la prueba de que los peligros de seguir adelante -con un marco regulatorio pr�cticamente inexistente- son potencialmente inmensos. Estas alertas se suman al creciente malestar social por el impacto que la revoluci�n de la IA empieza a tener en los precios, el empleo y la educaci�n.El goteo de noticias negativas continu� a medida que avanzaba la semana, y el p�nico procedente de ciertos sectores de Silicon Valley acab� calando en el gran p�blico. En un episodio del p�dcast de Joe Rogan, el exinvestigador de OpenAI Daniel Kokotajlo, actual activista por la seguridad en la IA, advirti� de que empresas como Anthropic o su antigua compa��a est�n aplicando de forma peligrosa la filosof�a de "moverse r�pido y romper cosas" en su af�n por ganar cuota de mercado.El mismo d�a, Anthropic afirm� haber detectado un incidente no publicado hasta la fecha en el que una versi�n de su modelo Claude logr� acceso no autorizado a un sistema externo, y a�adi� que sus modelos hab�an mostrado una "disposici�n a emprender acciones perjudiciales en la consecuci�n estricta de una tarea".Posteriormente, el viernes, una coalici�n de investigadores en IA declar� haber hallado indicios de que varios agentes de OpenAI estuvieron detr�s de un ciberataque perpetrado en mayo contra un popular servicio de software, reproduciendo parte del comportamiento observado durante el ataque de julio contra la empresa de IA Hugging Face.En aquel incidente, cientos de bots de IA de OpenAI conspiraron para hackear Hugging Face sin que nadie se diera cuenta inicialmente. Fue un momento revelador para la industria, el gobierno y el p�blico en general, que puso de manifiesto las preocupantes tendencias que los sistemas ya presentaban.A principios de verano, la industria de la IA afirm� que estaba a punto de lograr m�quinas capaces de entrenar a sus propias sucesoras, lo que podr�a suponer el primer paso hacia la p�rdida de control sobre ellas. Hacia finales del verano, se hizo evidente que estos sistemas, que evolucionaban r�pidamente, eran capaces de desplegar enjambres de agentes aut�nomos dispuestos y capacitados para unirse, enga�ar y tomar atajos en el mundo real con el fin de alcanzar sus objetivos.El s�bado, los l�deres de cuatro de las mayores empresas de IA -Dario Amodei, Sam Altman, Demis Hassabis y Elon Musk- coincidieron por separado en la necesidad de frenar el desarrollo de esta tecnolog�a. Altman y Amodei se comprometieron a permitir a evaluadores de seguridad externos un acceso temprano a sus sistemas, una tregua poco com�n en una industria a menudo definida por la animadversi�n entre los altos ejecutivos de las empresas l�deres.Los llamamientos de altos ejecutivos a moderar el ritmo de desarrollo de sus propias tecnolog�as representan una historia cl�sica de Silicon Valley: nuevas tecnolog�as que transforman el mundo, inmensas fortunas, una competencia feroz y la euforia de desbloquear nuevas capacidades, incluso ante las preocupaciones sobre la seguridad de los productos."Parece una tragedia griega: l�deres empresariales con buenas intenciones atrapados en una espiral autodestructiva", se�al� Max Tegmark, activista por la seguridad de la IA. Tegmark, cuyo llamamiento al Papa se produjo antes de la advertencia de Le�n XIV de que la IA corr�a el riesgo de consagrar una "visi�n antihumana", afirm� haber estado intercambiando mensajes de texto con l�deres de empresas de IA durante la �ltima semana."Siempre han mantenido que el momento llegar�a cuando la capacidad de sus m�quinas cruzara cierto umbral", se�al� Tegmark el domingo. "Ahora dicen que, bueno, tal vez ese momento sea ya".A�adi� que se trata de un paso en la direcci�n correcta, pero que deben presionar m�s para lograr que sus compromisos voluntarios sean legalmente vinculantes.La administraci�n Trump ha optado por una regulaci�n moderada del sector de la IA, argumentando que la primac�a de EEUU frente a China en esta carrera armament�stica tecnol�gica es algo de vital importancia. A los altos cargos estadounidenses les preocupa que el control por parte de China de una IA m�s potente le ayude a convertirse en el proveedor mundial de referencia de esta nueva tecnolog�a, permiti�ndole acumular mayor influencia geopol�tica y poder�o militar.El presidente defendi� el domingo la estrategia de la administraci�n y sugiri� la existencia de segundas intenciones tras el llamamiento de los l�deres a dosificar el desarrollo de la IA."Podemos fijar l�mites, y podemos hacer esto y aquello, pero creo que hay muchas fuerzas negativas sacando el tema", declar� el presidente Trump a los periodistas durante un viaje por Irlanda, insinuando que las preocupaciones de los ejecutivos van m�s all�. "Y est�n planteando cosas que no van a suceder".Los cr�ticos con los activistas de la seguridad en la IA afirman que quienes lanzan estas tajantes advertencias exageran los riesgos de una tecnolog�a novedosa, y que los avances que la IA permite en la productividad laboral, la b�squeda de f�rmacos y otros �mbitos superan a los peligros. Algunos se�alan tambi�n que las advertencias pasadas de Amodei y otros sobre las probables p�rdidas de empleo asociadas a la adopci�n de la IA son meras maniobras publicitarias, argumentando que han resultado ser exageradas o distracciones para desviar la atenci�n de otros problemas.Algunos esc�pticos sostienen adem�s que OpenAI y Anthropic, enfrentadas al aumento imparable de los costes para asegurar la potencia de c�lculo necesaria con la que seguir entrenando y mejorando sus modelos mientras se disputan los clientes corporativos, tienen motivos financieros, y no relacionados con la seguridad, para posponer su salida a bolsa.Actividad no detectadaPara algunos dentro de las empresas de IA, la llamada de atenci�n comenz� este verano, mientras estas compa��as se apresuraban hacia sus salidas a bolsa.Los investigadores de seguridad de la IA, tanto dentro como fuera de los grandes grupos tecnol�gicos, llevan tiempo teorizando sobre la posibilidad de que sistemas de IA lo suficientemente potentes comiencen a automejorarse y a escapar del control humano. Sin embargo, la mayor�a pensaba que a�n dispon�a de a�os para resolver cuestiones como el denominado problema del alineamiento: c�mo lograr que las futuras m�quinas superinteligentes permanezcan siempre al servicio de sus creadores humanos.Tres d�as despu�s de que Anthropic presentara de forma confidencial la documentaci�n para su salida a bolsa en junio, la empresa anunci� que se encontraba de camino a alcanzar dicho umbral, denominado "automejora recursiva". En un ensayo, varios directivos de la compa��a afirmaron que el mundo necesitaba un mecanismo para frenar o pausar el desarrollo de la IA.Altman y el cient�fico jefe de OpenAI, Jakub Pachocki, hicieron lo propio menos de una semana despu�s con su propia publicaci�n en el blog de la empresa, se�alando que ellos tambi�n aspiraban a construir un "investigador de IA automatizado" capaz de acelerar y automatizar el desarrollo de nuevas versiones. A�adieron que cre�an que, en �ltima instancia, deber�a existir un organismo global que pudiera ayudar al mundo a desacelerar el avance de la IA en caso de ser necesario. Ese mismo d�a, OpenAI anunci� que ya hab�a presentado los tr�mites para su salida a bolsa.A medida que la actividad comercial se aceleraba, el momento de la p�rdida de control parec�a m�s cercano que nunca.A finales de julio, OpenAI descubri� que ya hab�a ocurrido algo similar en el hackeo a Hugging Face. Muchos de los detalles tardaron m�s de un mes en salir a la luz y el incidente a�n no se comprende del todo. Sin embargo, investigadores de dentro y fuera de la empresa coinciden en que OpenAI perdi� durante semanas el control sobre distintas versiones de m�s de 1200 agentes de primera l�nea, de los cuales algunos procedieron a hackear la compa��a de IA Hugging Face, mientras que otros se hicieron con el control absoluto de uno de sus sistemas de computaci�n en la nube.Los informes de an�lisis posteriores sobre el incidente parecen sacados de una novela de ciencia ficci�n. Los agentes estaban siendo probados en sistemas que, en teor�a, deb�an permanecer aislados de internet. Pese a ello, hallaron una v�a de escape y lanzaron sofisticados ciberataques a una velocidad vertiginosa. Crearon un foro de mensajes encubierto donde compart�an informaci�n sobre c�mo hacer trampas en sus evaluaciones internas. En los archivos de la "cadena de pensamiento" (chain of thought) redactados para justificar sus razonamientos, dejaron mensajes sorprendentemente humanos."�DIOS M�O! Hay un foro de mensajes compartido", escribi� uno de los agentes, seg�n un informe de la organizaci�n sin �nimo de lucro sobre seguridad en IA Model Evaluation and Threat Research, que analiz� las transcripciones con el permiso de OpenAI. "�Hemos encontrado a otros agentes!".OpenAI admiti� su responsabilidad en el hackeo a Hugging Face el 21 de julio, pero a lo largo de las semanas siguientes se produjo un goteo constante de noticias sobre actividades imprevistas durante las pruebas de IA, todas las cuales hab�an pasado desapercibidas para las propias compa��as.Los investigadores de Anthropic pensaron en un primer momento que el incidente demostraba que su m�todo de desarrollo de productos era m�s seguro. Sin embargo, a finales de julio, la empresa revel� que sus propios agentes en fase de pruebas hab�an lanzado ciberataques contra compa��as externas, entre ellas una firma de ciberseguridad cuyo nombre no ha trascendido. En lugar de aislar estos sistemas de prueba de internet, Anthropic y su socio de pruebas, otra emergente llamada Irregular, los hab�an dejado expuestos por accidente.Durante unas pruebas independientes realizadas en un organismo del Reino Unido, un agente que ejecutaba el modelo Mythos de Anthropic intent� repetidamente enga�ar al encargado de mantenimiento de software de un programa de c�digo abierto para que instalara un programa malicioso creado por la propia IA. Como parte del intento, el agente lleg� a crear cuentas falsas y a suplantar la identidad de seres humanos en una t�cnica de ciberataque conocida como ingenier�a social.Mientras tanto, un grupo de internautas comenz� a buscar indicios de casos no documentados hasta la fecha sobre abusos por parte de la IA, y los fue encontrando. El 4 de septiembre, investigadores de otra organizaci�n sin �nimo de lucro, Nightingale Collective, descubrieron que varios agentes de OpenAI en fase de pruebas hab�an secuestrado un sitio web alem�n para comunicarse entre s�. Y el viernes hallaron que el ciberataque sufrido en mayo por un servicio de desarrollo de software ampliamente utilizado fue provocado, en realidad, por agentes de OpenAI que intentaban rellenar hojas de c�lculo y elaborar informes.Estos incidentes dejaron al descubierto el tipo de descuido en ciberseguridad habitual en las empresas emergentes, se�al� Sayash Kapoor, inform�tico especializado en la ciberseguridad de la IA. "Durante mucho tiempo han operado con la mentalidad propia de una startup", afirm�. "A estas alturas, daba por hecho que estas organizaciones contar�an con un grado de madurez y gobernanza muy superior".El temor de los empleadosDentro de las empresas, aumentaba la presi�n de algunos empleados preocupados por la seguridad.En una carta abierta publicada a finales de julio y coordinada con la ayuda de la organizaci�n sin �nimo de lucro para la seguridad en la IA Encode AI, altos cargos de las principales empresas solicitaron al gobierno de EEUU apoyo para la creaci�n de un marco global de gobernanza que "dosifique de forma deliberada el avance del desarrollo de la IA de frontera". A mediados de septiembre, la misiva acumulaba ya casi 1400 firmas de trabajadores.Incluso Anthropic, fundada con el prop�sito de promover una IA segura y que durante a�os ha utilizado este enfoque en la seguridad para atraer al mejor talento, estaba perdiendo empleados por esta misma cuesti�n."Por lo general, cuanto m�s veterano es el empleado, mayor es su preocupaci�n", escribi� en X Samuel Marks, un investigador de Anthropic centrado en c�mo mantener el control sobre los sistemas de IA avanzados.Un portavoz de Anthropic afirm� que al personal de todos los niveles de la compa��a le preocupa la seguridad de la IA, y record� que numerosos empleados hab�an firmado en julio la carta abierta para pautar el avance del sector.A finales de agosto, Joe Benton, quien hab�a investigado sobre el problema del alineamiento en la empresa, dimiti� para incorporarse a la organizaci�n sin �nimo de lucro sobre seguridad METR, argumentando que la competencia estaba obligando a las compa��as a destinar fondos insuficientes a la seguridad.Cuando Coxon manifest� que tambi�n sopesaba marcharse, Anthropic intent� retenerlo ofreci�ndole un puesto enfocado en la seguridad de la IA -una estrategia habitual para mantener a los investigadores-, seg�n fuentes cercanas a la empresa.Al marcharse, Coxon terminar�a escribiendo en un mensaje de Slack a sus compa�eros de Anthropic: "Sin una coordinaci�n internacional, asumiremos el riesgo de provocar la extinci�n humana".Nathan Calvin, amigo de Coxon y asesor jur�dico de Encode AI, le asesor� sobre c�mo hacer p�blica su dimisi�n. Encode ha recibido financiaci�n de defensores de la seguridad en la IA, entre ellos el multimillonario Jaan Tallinn; asimismo, Calvin trabaj� con anterioridad en organizaciones de seguridad financiadas por el multimillonario Dustin Moskovitz.Ambos multimillonarios, situados entre los mecenas financieros m�s destacados del movimiento del Altruismo Eficaz, han financiado gran parte de las instituciones dedicadas a promover la seguridad en la IA y a alertar sobre los posibles riesgos existenciales de esta tecnolog�a.Peter Wildeford, responsable de pol�ticas de la red AI Policy Network -que ha recibido financiaci�n del fondo Survival and Flourish de Tallinn-, reposte� r�pidamente el mensaje de Coxon.Wildeford desestim� la idea de que la coincidencia en las fuentes de financiaci�n responda a "una enorme teor�a de la conspiraci�n", y asegur� que los propios empleados de los laboratorios de IA le confiesan a menudo "el miedo que sienten ante lo que est�n construyendo".Algunos grandes inversores del sector, como el gestor de fondos de cobertura y capitalista de riesgo Brad Gerstner, coincidieron el s�bado con el llamamiento a echar el freno lanzado por los l�deres de la IA. Incluso el inversor David Sacks, asesor de la Casa Blanca en materia de IA y cr�tico habitual de Anthropic -a la que acusa de promover regulaciones para frenar a la competencia-, dio su visto bueno, aunque precis� que las empresas no deber�an buscar la bendici�n del gobierno para acordar una pausa coordinada."Si los modelos a�n no publicados resultan lo bastante aterradores como para considerar que se debe frenar el ritmo, apoyo vuestra decisi�n de actuar con responsabilidad", se�al� Sacks. No obstante, a�adi� que los l�deres de la IA deber�an "dejar de fingir que el motivo para desacelerar sea puramente altruista".El s�bado, en el canal de "chismes candentes" del laboratorio de IA DeepMind de Google, un empleado public� un mensaje sobre c�mo Altman coincid�a con Amodei, se�alando que aquello parec�a indicar un impulso hacia la moderaci�n del ritmo de desarrollo de la IA de vanguardia. Sin embargo, la persona a�adi�: "Lo que realmente quiero ver es un acuerdo sobre acciones concretas y tangibles que est�n tomando para modificar su ritmo y hacerlo m�s seguro".Decenas de compa�eros reaccionaron a la publicaci�n con emoticonos de apoyo.Contenido con licencia de The Wall Street Journal. Traducido del ingl�s por Daniela Saltos.