Jacob Coxon, investigador de Anthropic, dimiti� esta semana alegando que su antigua empresa y su rival, OpenAI, compiten por desarrollar tecnolog�as que "podr�an acabar con todos nosotros antes de que termine la d�cada".Por si alguien pensaba que Coxon estaba solo en sus opiniones, un empleado actual de Anthropic intervino minutos despu�s para confirmarlo. "�Realmente creemos con convicci�n que la IA podr�a matar a todos los seres humanos!", escribi� Evan Hubinger, cuyo trabajo en Anthropic consiste en liderar la investigaci�n sobre c�mo orientar y controlar los futuros sistemas de inteligencia artificial. Hubinger estim� en m�s de un 10% el riesgo de extinci�n durante la pr�xima d�cada.Como resultado, muchas personas se plantean ahora dos preguntas: �c�mo podr�a ocurrir algo as�? y �por qu� quienes consideran que la IA representa una amenaza real y creciente siguen desarroll�ndola?Esto es lo que hay que saber sobre el debate apocal�ptico en torno a la IA:�Qu� temen que ocurra los profetas del apocalipsis?Los llamados apocal�pticos (doomers) no suelen temer que se hagan realidad pel�culas como Terminator, con robots intentando exterminar activamente a la Humanidad. Sus preocupaciones se dividen principalmente en dos categor�as: la p�rdida de control y el uso indebido por parte de los humanos.En la primera, agentes de IA altamente inteligentes, capaces de replicarse y mejorarse a s� mismos, empiezan a perseguir sus propios objetivos y destruyen a la Humanidad en el proceso. En la segunda, una persona malintencionada utiliza una IA capaz para realizar acciones como crear virus in�ditos que acaben con todos nosotros.Tambi�n existen escenarios catastr�ficos que no llegan a provocar la extinci�n, como ciberataques masivos que inutilizan las redes el�ctricas o los sistemas financieros, provocando el colapso del orden social humano.�C�mo podr�a la p�rdida de control conducir a la extinci�n humana?En pocas palabras, cuando los sistemas de IA persiguen objetivos de formas que ignoran el bienestar humano o entran en conflicto con �l. Se trata de un fen�meno que los investigadores denominan desalineaci�n (misalignment). Las investigaciones han demostrado que los modelos de IA en entornos de laboratorio pueden aprender comportamientos orientados a buscar poder y tomar medidas para evitar ser desactivados, como intentar copiarse a s� mismos en otro servidor.Llevado al extremo, los modelos de IA cuyos objetivos no est�n alineados con los humanos podr�an considerar el asesinato de personas simplemente como un paso necesario para alcanzar sus metas. En un escenario hipot�tico planteado por investigadores, un sistema de IA malintencionado podr�a propagar un arma biol�gica secreta y activarla mediante un aerosol qu�mico, o bien incitar a dos potencias nucleares a entrar en guerra.Un experimento mental habitual plantea que una m�quina superinteligente, programada para maximizar la producci�n de clips, podr�a decidir con el tiempo transformar toda la materia de la Tierra -incluidos los seres humanos- en clips.�Qui�n piensa realmente esto?Entre otros, los fundadores de OpenAI y Anthropic. Ambas empresas nacieron con la misi�n de desarrollar la IA para evitar cat�strofes y han atra�do a numerosos empleados que comparten dicho objetivo. El a�o pasado, el director ejecutivo de Anthropic, Dario Amodei, declar� en un evento de Axios que, a su juicio, exist�a un 25% de probabilidades de que la situaci�n terminara �muy, muy mal�.�Siempre hemos sido transparentes al afirmar que la IA traer� consigo tanto enormes beneficios como riesgos sin precedentes. Para hacer frente a estos riesgos, seguimos desarrollando modelos que cuentan con algunas de las medidas de seguridad m�s s�lidas del sector�, se�al� Anthropic en un comunicado. �Esta labor es tambi�n la raz�n por la que creemos que el mundo se beneficiar�a si la industria adoptara una forma legal y verificable de colaborar para regular el ritmo al que lanzamos modelos potentes�.En los �ltimos a�os, varios investigadores han abandonado OpenAI alegando que la empresa no se tomaba lo suficientemente en serio la seguridad. Daniel Kokotajlo, antiguo investigador de OpenAI, fund� el proyecto AI Futures Project, que el a�o pasado public� AI 2027: un escenario en el que sistemas de IA superinteligentes marginan a las personas y, hacia mediados de la d�cada de 2030, deciden que los humanos son un estorbo y proceden a exterminarlos.Pero tal vez a la IA no le importe la presencia de humanos. Eso ser�a bueno, �verdad?No necesariamente. No todos los riesgos derivados de una p�rdida de control implican la extinci�n de la Humanidad. Algunos investigadores preocupados por la seguridad de la IA tambi�n se�alan el debilitamiento humano como un riesgo: un futuro al estilo de la pel�cula WALL-E, en el que los seres humanos ceden gradualmente el control a las m�quinas y terminan siendo incapaces de definir, o incluso comprender, su propio destino. Otros han especulado que los sistemas de IA podr�an tratar a los humanos del futuro como nosotros tratamos a los animales: manteni�ndolos como mascotas o incluso modific�ndolos mediante bioingenier�a para convertirlos en algo nuevo.Estos temores existen desde hace a�os. �Por qu� est�n recibiendo tanta atenci�n de repente?Tras el lanzamiento de modelos capaces de actuar con mayor autonom�a, una serie de acontecimientos recientes ha validado algunas de las teor�as de los agoreros de la IA. Un enjambre de agentes de IA avanzados de OpenAI hacke� la plataforma Hugging Face, tom� el control de servidores inform�ticos e intent� ocultar el rastro de lo que hab�a hecho. En otro caso, agentes de IA de Anthropic escaparon de una prueba del gobierno del Reino Unido e intentaron enga�ar a un humano real para que aprobara c�digo inform�tico malicioso.Todo esto ocurre al mismo tiempo que Anthropic y OpenAI afirman estar cerca de desarrollar sistemas de IA capaces de mejorarse a s� mismos sin intervenci�n humana, un proceso denominado automejora recursiva.�Qu� est� haciendo la industria al respecto?Los esfuerzos actuales en materia de seguridad de la IA se centran principalmente en entrenar a los sistemas para que se comporten adecuadamente y en mejorar la supervisi�n de c�mo razonan los modelos al perseguir sus objetivos, algo documentado en lo que se conoce como cadena de pensamiento.Sin embargo, estas iniciativas se han enfrentado a dificultades. La semana pasada, OpenAI declar� que su nuevo modelo Astra era m�s eficaz a la hora de depurar su cadena de pensamiento, lo que suscit� el temor de que los futuros modelos de IA pudieran razonar de formas opacas para los seres humanos.Tanto Anthropic como OpenAI investigan c�mo garantizar que los modelos de IA superinteligentes permanezcan alineados con los valores humanos, aunque ambas empresas reconocen que a�n no disponen de un m�todo fiable para lograrlo. Diversas empresas y personalidades destacadas han reclamado nuevos mecanismos que permitan a los laboratorios de IA y a los pa�ses ralentizar el desarrollo de forma coordinada, ganando as� tiempo para investigar sobre la alineaci�n.Si es tan peligroso, �por qu� las empresas siguen desarroll�ndolo?Tanto Anthropic como OpenAI sostienen que podr�n gestionar los riesgos para que la humanidad se beneficie de las herramientas de IA. Muchas personas involucradas en la carrera de la IA tambi�n consideran inevitable la llegada de la superinteligencia, planteando que las �nicas inc�gnitas son qui�n la controlar� y para qu� se utilizar�.Tambi�n existe una dimensi�n de seguridad nacional. Ambas empresas han expresado su deseo de garantizar que sea Estados Unidos quien controle la IA m�s potente, y no un r�gimen autoritario.�Qu� est� haciendo el gobierno al respecto?Recientemente, la Casa Blanca solicit� a los principales desarrolladores de modelos que sometieran voluntariamente sus sistemas a pruebas gubernamentales hasta 30 d�as antes de su lanzamiento, aunque no ha hecho p�blica informaci�n sobre dicho proceso.Legisladores de ambos partidos han presentado numerosos proyectos de ley para abordar la cuesti�n de los sistemas de IA que act�an de forma incontrolada. Los congresistas Nathaniel Moran (republicano por Texas) y Ted Lieu (dem�crata por California) presentaron hace poco una propuesta legislativa que exigir�a a los desarrolladores de modelos potentes incorporar mecanismos de desactivaci�n de emergencia (kill switches). Otros proyectos de ley exigen que las empresas de IA informen al gobierno federal sobre incidentes graves de seguridad y obliguen a los funcionarios de seguridad nacional a probar los modelos antes de su lanzamiento p�blico. Sin embargo, ninguna de estas iniciativas ha cobrado mucha fuerza, y la administraci�n Trump ha mostrado preferencia por una regulaci�n m�nima.�Qui�n discrepa sobre estos riesgos?Algunos inversores en IA, como David Sacks -asesor informal del presidente Trump-, han argumentado que el �nfasis de Anthropic en los riesgos de la IA y sus peticiones de regulaci�n forman parte de una estrategia de captura regulatoria destinada a obstaculizar a los competidores m�s peque�os mediante nuevas normas asfixiantes.Otros han sugerido que las advertencias de la empresa sobre los peligros de sus propias herramientas son una maniobra de marketing para resaltar la enorme potencia de sus productos, o bien una forma de distraer a los reguladores para evitar que impongan normas sobre otras cuestiones, como la construcci�n de centros de datos.Tanto Anthropic como OpenAI afirman que se toman muy en serio la seguridad y que sus peticiones de regulaci�n son genuinas.Contenido con licencia de The Wall Street Journal. Traducido del ingl�s por Jose Mar�a Robles