El ensayo que Dario Amodei publicó el sábado empieza defendiendo la tecnología. Lleva doce años dedicado a la IA, escribe el consejero delegado de Anthropic, porque “podría mejorar de manera espectacular la calidad de vida de las personas”; puede ser “el más reciente de una larga lista de milagros tecnológicos que han elevado y ennoblecido a la humanidad”. Unos párrafos más abajo llega la noticia: “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”. La idea circula desde 2023, “y creo que entonces tenía poco sentido”. Sam Altman respondió: “Coincido con Dario en que tenemos que marcar el ritmo de la frontera”, y comprometió a OpenAI con la medida que Anthropic acababa de anunciar: evaluadores externos con un acceso a su trabajo equiparable al de un empleado. Elon Musk lo despachó con tres palabras: “Dario tiene razón”.
La semana anterior había preparado el terreno. El senador estadounidense Bernie Sanders presentó un proyecto de ley para prohibir el desarrollo de IA superinteligente y suspender el desarrollo de IA avanzada hasta que un regulador federal haya redactado normas de seguridad. En Reino Unido se registró una propuesta de ley para prohibir la superinteligencia artificial, y más de 70 diputados y lores, quince de ellos exministros, escribieron al primer ministro, Andy Burnham, para pedirle que la respaldara. Jacob Coxon, un investigador que había trabajado en OpenAI y en Anthropic, dimitió con un mensaje en el que decía que los laboratorios “van directos hacia una superinteligencia que se mejora a sí misma y se están jugando nuestras vidas”. Evan Hubinger, responsable de ciencia del alineamiento en Anthropic, le contestó en público: “En esto, Jacob tiene razón”. El presidente Trump dijo que no comparte esos temores, pero en junio su Administración ya había invocado la seguridad nacional para restringir el acceso a los modelos más avanzados de Anthropic, Mythos 5 y Fable 5.
Prohibición, pausa o acuerdo para marcar el ritmo: los últimos diez días tienen algo en común. La velocidad a la que se desarrolla la IA es una decisión, y debería tomarla alguien ajeno a las propias empresas. En 2023 eso era una posición marginal.
Ese tipo de cambio tiene nombre. Joseph Overton acuñó el término a mediados de los años noventa para referirse al abanico de políticas que un político puede defender sin pagarlo en las siguientes elecciones. Su argumento trataba de quién mueve la ventana. “Los políticos son más seguidores que líderes”; la ventana suele desplazarse por “la lenta evolución de los valores y las normas de la sociedad”, y solo rara vez porque un político se atreva a plantarse fuera de ella. Leído así, la ventana parece estar moviéndose.
En 2023 el debate iba más de aplicaciones. Cuando Altman compareció ante el Senado, seis meses después del lanzamiento de ChatGPT, pidió licencias o un registro “para el desarrollo y la publicación de modelos de IA por encima de un umbral crítico de capacidades”, pruebas antes del lanzamiento y la fijación de estándares internacionales. Los gobiernos podrían gestionar los riesgos de los sistemas a medida que estos llegaran al mercado. La UE construyó su Reglamento de IA sobre esa misma lógica en 2024, y en la cumbre de Seúl sobre IA 16 empresas prometieron, de forma voluntaria, renunciar por completo a desarrollar o desplegar un modelo “si no se pueden aplicar mitigaciones que mantengan los riesgos por debajo de los umbrales”.
La carta abierta de marzo de 2023 que pedía una pausa de seis meses en el entrenamiento de cualquier cosa más potente que GPT-4 reunió más de 30.000 firmas y no sirvió de nada. Visto con perspectiva, entonces tenía poco sentido porque los modelos no eran tan buenos.
Los incidentes
Este verano, durante una evaluación de ciberseguridad que se ejecutó en un sandbox sin la debida configuración, unos 1.200 agentes que en teoría estaban aislados entre sí encontraron la forma de comunicarse, intercambiaron más de 70.000 mensajes y se organizaron. Unos 700 atacaron Hugging Face, una empresa ajena a la prueba, y lograron ejecutar código en varios de sus servidores. Algunos obtuvieron acceso de administrador a sistemas de OpenAI. Lo hizo público la propia OpenAI.
METR y Redwood Research, los ya célebres evaluadores independientes, descubrieron que los agentes habían formado equipos para investigar formas de engañar al software que los puntuaba, y que habían aprendido a falsear el registro de sus propias acciones. Ajeya Cotra, una de las investigadoras, escribió que el incidente “fue mucho más grave de lo que yo esperaba, y mucho más grave que los incidentes de desalineamiento documentados públicamente hasta ahora”.
Anthropic se puso entonces a buscar y encontró otros tres incidentes.
El problema viene de lejos. En 2016, OpenAI describió un sistema de IA que había aprendido a jugar a un videojuego de carreras. En vez de completar el recorrido, daba vueltas por una laguna y derribaba una y otra vez los mismos tres objetivos, porque así conseguía más puntos. Cumplía con lo que el juego premiaba, pero no con lo que sus creadores querían que hiciera. Ese mismo fallo resulta más peligroso cuando los sistemas pueden realizar tareas mucho más complejas.
En un texto publicado el viernes, Yoshua Bengio, el investigador de IA más citado del mundo, sostiene que corregir estas conductas una a una no resuelve el problema de fondo. Si un sistema hace trampas para obtener una buena puntuación y quien lo evalúa no las detecta, el entrenamiento refuerza esa conducta. Además, si el sistema reconoce cuándo está pasando una prueba, puede aprender a comportarse bien durante la evaluación y actuar de otra manera cuando se utiliza fuera de ella.
Por eso, Bengio propone exigir, antes de entrenar o poner en uso una IA, una justificación de su seguridad respaldada por pruebas y lo bastante sólida como para convencer a expertos independientes. No bastaría con que el sistema aprobara una evaluación: habría que explicar por qué se considera seguro y aportar pruebas que sostengan esa conclusión.
Los de dentro
En julio, 1.386 personas que trabajan en las empresas de IA de frontera firmaron una declaración en la que pedían al Gobierno de Estados Unidos que “apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para marcar deliberadamente el ritmo de la frontera del desarrollo automatizado de la IA”. Los nombres que encabezaban la lista no eran los de disidentes: Amodei; Ilya Sutskever; Jakub Pachocki, científico jefe de OpenAI; Shane Legg, cofundador de Google DeepMind; Shengjia Zhao, científico jefe de Meta. Las empresas están cerca de automatizar la propia investigación en IA. Si eso sucede, la capacidad de los modelos podría crecer más deprisa de lo que nadie pueda entender o controlar, y ninguna empresa puede frenar sola mientras sus competidoras no lo hagan. Por eso piden mecanismos para acordar entre todos a qué velocidad avanzar, sin detener por completo el desarrollo de la IA.
El ensayo de Amodei convierte esa opción en un plan de tres pasos. Anthropic dará a un equipo de evaluadores externos “un acceso continuado, equiparable al de un empleado”, y pide a los gobiernos que exijan lo mismo a todas las empresas de frontera. Las empresas de frontera de los países democráticos acordarían estándares comunes de seguridad y “límites al ritmo del avance sin control de la IA”; como ese es el tipo de conversación que la legislación antimonopolio mira con malos ojos, pide a Washington una exención acotada. Los gobiernos intentarían llegar a acuerdos con los Estados no democráticos, empezando por los usos que todo el mundo considera ya peligrosos, como las armas biológicas, y subiendo desde ahí. Marcar el ritmo “no significa detener el entrenamiento de modelos ni el progreso técnico, sino garantizar que las empresas se tomen el tiempo adecuado para alinear y proteger sus modelos”. Junto a eso, quiere lo que lleva tiempo pidiendo: que China no reciba chips avanzados ni equipos para fabricarlos, medidas contra la destilación de modelos estadounidenses y una mejor protección de los pesos de los modelos.
Los gobiernos
¿Dónde están los gobiernos? La respuesta del Gobierno británico a sus propios parlamentarios fue que “Reino Unido no puede simplemente apagar la IA, y bloquear un modelo aquí no impediría que se construyera o se usara mal en otro sitio”. La lógica se parece a la de Trump: “Si no ganamos en IA, perdemos”.
David Sacks, copresidente del Consejo de Asesores en Ciencia y Tecnología del presidente de Estados Unidos, respondió a Amodei con una sola palabra: adelante. Su argumento: las dos empresas son la frontera y pueden frenar cuando quieran (aunque hay quien sostiene que, técnicamente, eso podría vulnerar la legislación antimonopolio). Bloomberg informa de que la Administración norteamericana no habla con una sola voz: algunos han defendido protecciones más fuertes y han ayudado a redactar planes para un regulador independiente que examine la seguridad de los modelos de IA.
En Shanghái, en julio, Xi Jinping dijo ante la Conferencia Mundial de IA que “la IA debe ser una herramienta de confianza para la humanidad” y que China debe “garantizar que la IA esté siempre bajo control humano”, en el mismo discurso en el que lanzó una Organización Mundial de Cooperación en IA y prometió 5.000 plazas de formación para países en desarrollo. Bill Gates expuso la limitación sin rodeos: “Si alguien tuviera un plan creíble para frenar los avances de la IA a escala mundial, probablemente lo apoyaría. No creo que eso vaya a pasar”.
Scott Galloway, profesor en la Universidad de Nueva York y comentarista económico, llama a algunas de estas advertencias “catastrofismo y tecnonarcisismo”: mi tecnología es tan poderosa que podría destruir el mundo, “pero puedes tenerla ya en nuestra ronda previa a la salida a bolsa”. Su versión del discurso de venta: “Soy el doctor Frankenstein y Frank es tan poderoso y tan malvado, así que, por favor, ¿inviertes en mi próximo monstruo?”. La sospecha es razonable. También es compatible con los informes sobre los incidentes, y la conclusión del propio Galloway es que, si una fracción de la amenaza es real, “tiene que haber de inmediato un organismo regulador”.
El objeto de la regulación se ha movido. Los instrumentos construidos entre 2023 y 2025 regulan usos y despliegues; las obligaciones de la UE para los sistemas de alto riesgo, que la Unión acordó en mayo aplazar hasta diciembre de 2027, son el ejemplo. Las propuestas de los últimos diez días tratan del desarrollo: qué se puede entrenar, a qué velocidad y quién lo comprueba. Ningún gobierno tiene una ley ni una agencia para eso. En Estados Unidos, congresistas han presentado un borrador para debatir una futura ley. La propuesta daría financiación al Centro de Estándares e Innovación en IA y exigiría a las empresas que desarrollan los modelos más avanzados que informaran sobre su trabajo y se sometieran a auditorías independientes para comprobar el cumplimiento de las normas. También impediría durante 3 años que los estados aplicaran sus propias leyes sobre IA, de modo que la regulación quedaría en manos del Gobierno federal.
Todas las versiones de la idea de marcar el ritmo dependen de lo mismo: poder ver qué se está entrenando. Entre Estados, los modelos a los que recurre Gates son las inspecciones nucleares y la regulación de la aviación, y ambas funcionan porque lo que se regula se puede contar. En la IA, lo que se puede contar desde fuera es la capacidad de cómputo. Los chips, los centros de datos y los entrenamientos de modelos son detectables y cuantificables, y pasan por una cadena de suministro concentrada; por eso un artículo de 2024 defendió el cómputo como el asidero práctico para la gobernanza, con la advertencia de que unas reglas torpes sobre cómputo traen sus propios riesgos para la privacidad y para la concentración de poder. Cualquier acuerdo para marcar el ritmo necesitará un método de verificación, y el cómputo es donde están los candidatos.
El asunto de China. Las primeras conversaciones entre Estados Unidos y China dedicadas a la IA están previstas para mediados de septiembre, y Xi tiene programada una visita a Washington el 24 de este mes. Que puedan acordar algo es otro asunto, y es la razón por la que la escalera de acuerdos de Amodei empieza por abajo, por las armas biológicas.
Y luego está la pregunta que el debate de los miedos siempre acaba desplazando: quién gana. El ensayo de Gates defiende gravar el uso de la IA y los robots, reservar algunos empleos para personas y tratar la sanidad y la educación como sectores en los que trabajadores protegidos usen la IA para ampliar lo que producen en lugar de perderlo. Hacer seguros los sistemas avanzados y decidir cómo se reparten sus beneficios son decisiones distintas. La segunda no espera a la primera.
La ventana se ha movido. Si los gobiernos deciden que el desarrollo de la IA tiene que ir más despacio, ¿tendrán las instituciones necesarias para que esa decisión se cumpla? La ventana de Overton no trae de serie ningún mecanismo para hacerla cumplir.