OpenAI wants to secure funding before Anthropic goes public. Both companies need a ton of money to keep growing, and they’re asking investors who also finance many other businesses.

OpenAI and Anthropic had been expected to deliver two of the most closely watched stock-market listings. But last month, OpenAI ruled out going public this year. It said it needed more time for AI safety work and cooperation with governments and industry.

I’m not convinced safety alone explains the decision. OpenAI is seeking around $30 billion in private funding in a deal that would value the company at $1.25 trillion. That follows a round with $122 billion in committed capital. When it announced its confidential IPO filing, OpenAI said that staying private would make some of its plans easier.

Anthropic took another route. It raised $65 billion in May, including $15 billion previously committed by cloud providers. The deal valued the company at $965 billion. It now aims to go public in mid-November, with a possible valuation of $1.5 trillion. Those plans could still change.

The two fundraising efforts could come just weeks apart. Raising that much money could affect other companies looking for funding, as well as banks, pension funds and, eventually, governments.

Subscribe now

What a company gains by going public

In an initial public offering, or IPO, a company offers shares to the public. Selling new shares raises money without taking on a loan. It can also give early investors and employees a chance to sell their stakes.

Public companies must publish their financial results and explain the main risks of the business. Anthropic has warned prospective investors about catastrophic AI risks. It also argues that the transparency required of public companies could improve safety. Nearly a third of the main body of its prospectus is devoted to risks.

Warning investors doesn’t make those risks disappear or shield a company from liability if something goes wrong. If a serious AI incident leads to lawsuits, regulatory action or substantial liabilities, the company and its shareholders still face the financial consequences.

The IPOs that may have to wait

Oura, the company that knows more about our sleep than we do, has postponed its IPO even as it expects revenue to grow 90%. It cited uncertainty in the IPO market. AI companies and everyone else are approaching many of the same investors, and even billionaires have to choose where to put their money.

A pension fund invests people’s retirement savings. If most of that money is already invested and the fund wants shares in a new AI listing, it may need to sell shares it already owns or put less into another company’s offering. That other company may then have to accept a lower price or wait. Some are already timing their listings to avoid competing with Anthropic.

The debt behind the data centers

The companies building and running AI data centers are also borrowing to expand. They’re turning to debt markets that other businesses and governments rely on. Even a profitable company may want to build faster than its business can pay for. By issuing bonds, it gets money from investors and promises to repay it with interest.

By late June, five major technology companies had raised about $168 billion through bonds, compared with about $108 billion in all of 2025. In one OECD scenario, nine major technology companies could issue around $1.2 trillion in bonds over 2026–2030. That assumes bonds finance 29% of their projected capital spending.

The borrower may instead be the data-center owner, which repays its lenders with rent from a technology company. The technology company may also guarantee payment if the owner cannot pay.

To pay for all this, AI companies need enough revenue. OpenAI and Anthropic are counting on customers paying more for their most capable models. Large Chinese providers could complicate that bet by running AI cheaply at industrial scale.

Beijing’s E-Town development area, for example, offers subsidies to qualifying companies to cover part of the cost of renting computing capacity, making AI cheaper to run.

Fear of falling behind can keep companies building even as competition forces prices down. Lower prices may attract more customers, but the revenue still has to cover years of debt repayments and rent. In the meantime, that construction spending is revenue for chipmakers and other suppliers.

CoreWeave borrows to build computing capacity that it rents to AI companies. This month, the price of some of its bonds fell, pushing their yields to around 15%. A buyer at those lower prices could earn that annual return if CoreWeave makes all its payments. The payments promised on the fixed-rate bonds had not changed.

A growing market for protection against default

Some see echoes of the 2008 financial crisis in AI’s growing debt. A fund can hold its bonds and pay another firm to cover losses if the borrower stops paying. That contract is a credit default swap, or CDS. If several funds buy protection from the same firm, they all depend on its ability to pay.

During the mortgage boom before 2008, banks paid the insurer AIG to take on some of their risk. As mortgage-linked investments lost value, AIG had to put up more cash as security for those commitments. Those demands helped force a government rescue.

According to Morgan Stanley Research, CDS on the debt of seven AI-linked borrowers traded at an average of more than $9 billion a week in September. In July, the figure was below $2 billion.

I really don’t like this chart.

Protection on the same debt can be traded more than once, and new borrowing adds more debt to cover. Buyers include shareholders protecting their stock positions, as well as bondholders worried about a default. Trading volume alone doesn’t tell us how worried investors are, though it is worth watching.

By early September, the cost of that protection had risen for large cloud-computing companies and chipmakers, while staying broadly stable for other S&P 500 companies.

Retirement savings are exposed too

In the US, workers with a 401(k) put part of each paycheck into a retirement account. Employers sometimes contribute too. Those savings often go into funds that pool savers’ contributions to buy shares and bonds. A fund that tracks the S&P 500 holds shares in hundreds of large US companies, with about a third of its money in just seven technology companies.

A pension fund can look diversified while holding several investments that could fall together if AI spending slows. Britain’s Pensions Regulator has flagged that risk and asked trustees to check how investments across the whole fund are connected, including its bonds.

How AI investment could affect public borrowing

Governments seek money in some of the same markets financing AI’s expansion. To improve infrastructure, they may borrow from banks or issue bonds. The risks of their debts differ from those of technology companies, but they share some sources of funding. If AI’s demand for money pushes up interest rates, governments could end up paying more to borrow.

Higher costs can also reach governments through banks, which already lend to data centers and must raise money to keep operating. If that funding becomes more expensive, banks may charge more for loans to build infrastructure.

That pressure can cross borders too. The IMF looks at this risk in Asia. In its scenarios, investment by early AI adopters raises global interest rates. Countries that adopt later can face more expensive borrowing before they benefit from higher productivity.

The IMF also warns that government borrowing could become more expensive. So far, there is little evidence of a wider AI-driven funding squeeze.

Even a small rise in rates can affect a public budget. One extra percentage point on $1 billion in new borrowing adds $10 million a year. A government with a fixed budget for debt payments may have to borrow less, scale back a grid extension or delay it. Existing fixed-rate debt keeps its agreed terms. Higher rates affect new borrowing and debt that must be refinanced.

Governments can also turn to development banks. Backing from member countries helps these institutions borrow more cheaply than many governments could on their own, and offer longer repayment periods. They still rely on financial markets, so some of their loans can become more expensive when interest rates rise.

AI could eventually raise productivity and incomes, creating more savings to invest. For now, its expansion is drawing on investors and lenders who also fund other businesses and governments. Competition for that money can affect other borrowers even if the AI investments pay off.

A country can benefit from better technology over time and still need affordable financing for an electricity grid or a public-health system today. If borrowing costs rise before those gains arrive, the government may have to build less or wait longer.

Subscribe now

OpenAI quiere asegurarse financiación antes de que Anthropic salga a bolsa. Las dos necesitan mucho dinero para seguir creciendo y se lo están pidiendo a inversores que también financian a muchas otras empresas.

Las salidas a bolsa de OpenAI y Anthropic eran dos de las más esperadas. Pero el mes pasado OpenAI descartó hacerlo este año. Dijo que necesitaba más tiempo para trabajar en la seguridad de la IA y colaborar con gobiernos y empresas.

No creo que la seguridad de los modelos sea la única razón. OpenAI busca unos 30.000 millones de dólares de financiación privada en una operación que la valoraría en 1,25 billones. La ronda anterior fue de 122.000 millones de dólares. Cuando anunció que había presentado de forma confidencial la documentación para salir a bolsa, ya dijo que seguir siendo privada facilitaría algunos de sus planes.

Anthropic ha seguido otro camino. En mayo consiguió 65.000 millones de dólares, incluidos 15.000 millones que los proveedores de servicios en la nube ya habían comprometido. Esa ronda la valoró en 965.000 millones. Ahora quiere salir a bolsa a mediados de noviembre, con una valoración estimada de 1,5 billones de dólares. Los planes todavía pueden cambiar.

Las dos operaciones llegarían con pocas semanas de diferencia. Captar tanto dinero puede afectar a otras empresas que buscan financiación, y también a los bancos, los fondos de pensiones y, con el tiempo, a los gobiernos.

Suscribirse

Qué gana una empresa al salir a bolsa

En una salida a bolsa, u oferta pública inicial, la empresa ofrece acciones al público. Vender acciones nuevas le permite conseguir dinero sin tener que pagar un préstamo. También puede ser una oportunidad para que los primeros inversores y los empleados vendan sus participaciones.

A cambio, una empresa que cotiza tiene que publicar sus resultados financieros y explicar los principales riesgos del negocio. Anthropic ha advertido a los posibles inversores de los riesgos catastróficos de la IA. También defiende que la transparencia que exige cotizar en bolsa podría mejorar la seguridad. Casi un tercio de la parte principal de su folleto de salida a bolsa está dedicado a los riesgos.

Advertir de esos riesgos en un folleto no los hace desaparecer ni libra a la empresa de responsabilidad si algo sale mal. Si un incidente grave de IA provoca demandas, medidas de los reguladores o grandes indemnizaciones, la empresa y sus accionistas seguirán soportando las consecuencias económicas.

Las salidas a bolsa que tendrán que esperar

Oura, la empresa que sabe más que nosotros sobre cómo dormimos, ha aplazado su salida a bolsa aunque prevé que sus ingresos crezcan un 90 %. En su anuncio, la empresa lo atribuyó a la incertidumbre del mercado de salidas a bolsa. Las empresas de IA y todas las demás buscan a los mismos inversores, y hasta los multimillonarios tienen que elegir dónde poner el dinero.

Un fondo de pensiones invierte el dinero de quienes ahorran para la jubilación. Si ya tiene la mayor parte del dinero invertido y quiere comprar acciones de una nueva estrella de la IA, tendrá que vender otras que ya tiene o poner menos dinero en la salida a bolsa de otra empresa. Esa empresa puede acabar aceptando un precio más bajo por sus acciones o esperando a otro momento. Algunas ya están cambiando sus fechas para no competir con Anthropic.

La deuda que sostiene los centros de datos

Para construir y poner en marcha centros de datos, las empresas también piden dinero prestado. Lo buscan en los mismos mercados de deuda a los que recurren otras empresas y los gobiernos. Incluso una empresa rentable puede querer construir más deprisa de lo que puede pagar con el dinero que genera. Cuando emite bonos, recibe dinero de los inversores y se compromete a devolvérselo con intereses.

A finales de junio, cinco grandes tecnológicas ya habían conseguido unos 168.000 millones de dólares mediante bonos, frente a unos 108.000 millones en todo 2025. En uno de los escenarios de la OCDE, nueve grandes tecnológicas podrían emitir alrededor de 1,2 billones de dólares en bonos entre 2026 y 2030. El cálculo supone que esas empresas financiarían con bonos el 29 % de su inversión prevista en activos.

También puede endeudarse el propietario del centro de datos y devolver el préstamo con el alquiler que le paga una tecnológica. La tecnológica puede comprometerse además a pagar si el propietario no puede hacerlo.

Para pagar todo esto, las empresas de IA necesitan ingresar suficiente dinero. OpenAI y Anthropic cuentan con que sus clientes estén dispuestos a pagar más por sus modelos más capaces. Los grandes proveedores chinos podrían complicar esa apuesta ofreciendo IA barata a escala industrial. La zona de desarrollo E-Town de Pekín, por ejemplo, ofrece ayudas a las empresas que cumplen los requisitos para pagar parte del alquiler de capacidad de cómputo y reducir así el coste de usar IA.

El miedo a quedarse atrás puede empujar a las empresas a seguir construyendo, aunque la competencia las obligue a bajar los precios. Cobrar menos puede atraer a más clientes, pero los ingresos tendrán que bastar para pagar años de deuda y alquileres. Mientras tanto, el dinero destinado a construir se convierte en ingresos para los fabricantes de chips y otros proveedores.

CoreWeave pide dinero prestado para construir capacidad de cómputo que luego alquila a empresas de IA. Este mes bajó el precio de algunos de sus bonos y su rentabilidad subió hasta alrededor del 15 %. Ese es el rendimiento anual que podría obtener quien los compre a esos precios más bajos, siempre que CoreWeave cumpla todos sus pagos. Los pagos pactados en esos bonos a tipo fijo seguían siendo los mismos.

Crece el mercado para cubrir impagos

El aumento de la deuda de la IA ha llevado a algunos a recordar la burbuja anterior a 2008. Un fondo puede quedarse con sus bonos y pagar a otra firma para que cubra las pérdidas si la empresa que los emitió deja de pagar. Ese contrato se llama permuta de incumplimiento crediticio, o CDS por sus siglas en inglés. Si varios fondos compran esa protección a la misma firma, todos pasan a depender de que pueda pagar.

Durante el auge hipotecario previo a 2008, los bancos pagaban a AIG para que asumiera parte de su riesgo. Cuando las inversiones vinculadas a hipotecas perdieron valor, la aseguradora tuvo que aportar más efectivo como garantía de sus compromisos. Esas exigencias contribuyeron a que acabara necesitando un rescate público.

Según Morgan Stanley Research, en septiembre se negociaron, de media, más de 9.000 millones de dólares semanales en CDS sobre la deuda de siete prestatarios vinculados a la IA. En julio, la cifra no llegaba a los 2.000 millones.

Este gráfico no me gusta nada.

La protección sobre una misma deuda puede negociarse varias veces, y las nuevas emisiones añaden más deuda que cubrir. Además de quienes tienen bonos y temen un impago, también compran esa protección accionistas que buscan proteger sus inversiones en bolsa. El volumen negociado, por sí solo, no nos dice cuánto preocupa el riesgo a los inversores, aunque conviene seguirlo.

A principios de septiembre, esa protección ya se había encarecido para los grandes proveedores de la nube y los fabricantes de chips. Para las demás empresas del S&P 500, su coste seguía relativamente estable.

Los ahorros para la jubilación también están expuestos

En Estados Unidos, los trabajadores con un plan 401(k) destinan parte de su sueldo a una cuenta para la jubilación. A veces, la empresa también aporta dinero. Ese ahorro suele invertirse en fondos que reúnen las aportaciones de muchos ahorradores para comprar acciones y bonos. Un fondo que sigue el S&P 500 invierte en cientos de grandes empresas estadounidenses, aunque alrededor de un tercio de su dinero se concentra en solo siete tecnológicas.

Un fondo de pensiones puede parecer diversificado y tener varias inversiones que caerían a la vez si se frena el gasto en IA. El regulador británico de pensiones ha señalado ese riesgo y ha pedido a los responsables que revisen cómo están conectadas las distintas inversiones del fondo, incluidos los bonos.

Cómo puede afectar la inversión en IA a la deuda pública

Los gobiernos también buscan dinero en los mercados que financian la expansión de la IA. Para mejorar sus infraestructuras, pueden pedir préstamos o emitir bonos. Comparten así parte de sus fuentes de financiación con las tecnológicas, aunque los riesgos de sus deudas sean distintos. Si la demanda de financiación para la IA hace subir los tipos de interés, los gobiernos pueden acabar pagando más por endeudarse.

Ese encarecimiento puede llegar también a través de los bancos, que ya prestan a los centros de datos y necesitan financiarse para mantener su actividad. Si conseguir dinero les cuesta más, pueden cobrar más por los préstamos para construir infraestructuras.

Esa presión también puede cruzar fronteras. El FMI analiza este riesgo en Asia. En sus escenarios, la inversión de los países que adoptan primero la IA a gran escala eleva los tipos de interés mundiales. Los que la adoptan más tarde pueden encontrarse con financiación más cara antes de beneficiarse de una mayor productividad.

En sus perspectivas económicas de octubre, el FMI también advierte de que la deuda pública podría encarecerse y señala otros riesgos relacionados con la inflación y el endeudamiento público. Por ahora, hay pocos indicios de que la IA esté provocando una escasez general de financiación.

Incluso una subida pequeña puede afectar al presupuesto. Un punto porcentual más de interés sobre 1.000 millones de dólares de deuda nueva supone pagar 10 millones más al año. Si el gobierno tiene un presupuesto fijo para pagar la deuda, quizá tenga que pedir menos dinero, reducir la ampliación de una red eléctrica o aplazarla. La deuda ya emitida a tipo fijo mantiene sus condiciones. La subida afecta a los préstamos nuevos y a la deuda que haya que refinanciar.

Los gobiernos también pueden acudir a los bancos de desarrollo. El respaldo de sus países miembros les ayuda a conseguir financiación más barata que la que muchos gobiernos obtendrían por su cuenta y a ofrecer plazos de devolución más largos. También dependen de los mercados, y algunos de sus préstamos pueden encarecerse cuando suben los tipos de interés.

Si la IA aumenta la productividad, podría generar más ingresos y ahorro con el tiempo. Pero construir su infraestructura exige financiación ahora. El riesgo es que esa demanda de dinero encarezca la financiación de otras empresas y de los gobiernos.

Un país puede beneficiarse de una tecnología mejor en el futuro y necesitar hoy financiación asequible para una red eléctrica o un sistema de salud pública.

Suscribirse

Cheaper AI should encourage people and businesses to use much more of it. The companies supplying that compute will have to build enough capacity without knowing exactly how much customers will buy, or at what price. The risk behind warnings of a bubble is that, when in the future revenues don’t match the cost of expansion, credit will get assessed more harshly. This past week, for example, investors sold off bonds issued to finance data centers, including debt issued by CoreWeave.

Getting those centers into service depends on equipment, most of all, but also electricity and permission to build. Regulators and planning authorities can shape the decisions on electricity tariffs or construction permits, and set the rules for who pays for additional grid infrastructure and what developers must owe to host communities. In turn, governments buying AI systems can negotiate the right to check whether suppliers are meeting their contractual obligations.

Here’s five charts from this year’s State of AI Report illustrating why this is an especially critical moment for financial wagers, physical bottlenecks, and governments’ leverage.

Subscribe now

1. Plunging prices are not the same as guaranteed revenue

Epoch estimates that the minimum cost to reach a given level of AI performance on five standard benchmarks has fallen by roughly 47% a quarter since 2023.

When AI gets that cheap, businesses start using it for tasks that used to be too expensive. At the same time, more efficient models need less computing power to do existing work. Companies building data centres are betting that cheaper AI will generate enough new use to make that expansion pay. Nobody knows yet if that math will work out.

2. Cloud giants have to spend the cash up front

Despite that uncertainty, Amazon, Alphabet, Microsoft, and Meta plan to spend around $733 billion in total capital expenditures in 2026.

The risk sits in the gap between spending money and collecting it. In his shareholder letter, Amazon’s Andy Jassy points out that the company typically pays for land, power, buildings, and equipment six to 24 months before it starts billing customers for that capacity. Even with customer commitments in hand, the builders carry the upfront cost of getting the physical sites ready.

3. Paper megawatts do not run servers

Announcing a data centre is easy; getting it plugged into the grid is hard. A facility cannot provide computing until the building, the high-voltage connection, and the chips are all ready in the same place at the same time.

Look at CoreWeave. The AI cloud provider reported 1.5 GW of active power and 3.7 GW contracted for the same quarter, with the contracted total rising later to the 4.2 GW shown in the chart. Some of that power is for facilities still being developed, so the gap alone does not establish construction delays.

The chipmaker TSMC is checking those physical conditions for itself. This past week, it told investors it was sending teams to check US data-centre construction and power supplies as part of its capacity planning. It said the initial feedback was positive and remained confident in AI demand.

4. “Sovereign AI” buyers still depend on US hardware

Governments buying that capacity face a related problem: they need to know what control comes with it. For those building domestic AI facilities, keeping sensitive public data inside national borders is part of the promise of “sovereign AI”.

In practice, though, a domestic building can still run on foreign technology. The report’s snapshot includes projects using chips from NVIDIA and servers from companies like HPE. Where advanced chips require US export licences, a government can have the budget and the site ready, yet still need Washington’s permission to get the hardware.

Governments relying on foreign suppliers need to use their purchasing power to write tighter contracts. Before handing over public funds, a government should lock down what control it actually gets: who can access sensitive data, who runs the systems day to day, and what happens if a foreign supplier pulls out.

5. Local opposition is already delaying projects

To the people asked to live next to one, a data center is a giant warehouse that drinks local water and eats up local power to serve customers somewhere else. In a March 2026 Gallup poll, 71% of US adults said they would oppose an AI data center in their area, more than the 53% who would oppose a nuclear power plant.

Developers promise economic growth and construction jobs, while residents worry about noise, water use, and higher electricity bills. That local pushback is already slowing the buildout: Data Center Watch counted at least 45 US projects, worth nearly $68 billion in planned investment, that were blocked or delayed by local opposition in the second quarter of 2026.

People can want the benefits of AI and still refuse to subsidize a tech company’s electricity bill. Even CoreWeave’s chief executive has said developers should pay for their own grid upgrades so the cost does not fall on households.

Smart regulators are turning that principle into binding rules. Ohio’s utilities commission approved a dedicated electricity tariff for large new data centers served by AEP Ohio. Developers must pay for a high minimum level of power even if they end up using less. Under AEP’s connection terms, they must also reimburse the full buildout costs if they cancel, or delay a project by more than twelve months, before the target connection date. Regulators wrote the rule to protect ordinary households from paying for stranded grid investments, though data center industry groups appealed the decision.

This past week, Pennsylvania Governor Josh Shapiro petitioned to join a regulatory case seeking stronger protections, arguing that large data centers must pay for the transmission upgrades they cause.

Local authorities need to apply the same level of scrutiny to claims about permanent jobs and water use, making sure projects can be verified after they open, and have remedies if they don’t meet specific commitments. That approval process is the moment to agree those obligations, while the company still needs something from the place it wants to build.

Whether the AI buildout pays off for investors or ends in a glut, host communities will still be left with a pile of physical facilities and contracts once the boom has waned. Governments buying compute should settle access, oversight and exit terms before signing a contract. For authorities approving new facilities, the time to set the terms really is before the concrete is poured.

Charts cropped from Nathan Benaich and Air Street Capital, State of AI Report 2026. Report content is licensed under CC BY 4.0.

Una inteligencia artificial (IA) más barata debería llevar a personas y empresas a usarla más. Para atender esa demanda, los proveedores de cómputo necesitan construir infraestructura antes de saber cuánto contratarán sus clientes y a qué precio. Ahí está el riesgo de burbuja: que los ingresos no basten para recuperar la inversión y devolver la deuda. La semana pasada, por ejemplo, los inversores vendieron bonos emitidos para financiar centros de datos, entre ellos los de CoreWeave.

Los gobiernos no pueden saber si todas estas inversiones serán rentables. Sí pueden fijar condiciones al autorizar nuevos centros y contratar servicios de IA. Las empresas necesitan equipamiento, electricidad y permisos para poner los centros en marcha. Los reguladores y las autoridades urbanísticas pueden fijar condiciones sobre tarifas eléctricas y licencias de obra: quién paga las ampliaciones de la red y qué compromisos asumen los promotores con los municipios. Por su parte, los gobiernos que compran sistemas de IA pueden negociar el derecho a comprobar que los proveedores cumplen lo pactado.

Estos cinco gráficos del State of AI Report de este año ayudan a entender los riesgos financieros de esta expansión, los obstáculos para llevarla a cabo y el margen de negociación de los gobiernos.

1. Que los precios se desplomen no garantiza los ingresos

Epoch calcula que, desde 2023, el coste mínimo de lograr un mismo nivel de rendimiento con IA ha caído alrededor de un 47 % por trimestre. El cálculo se basa en cinco pruebas de evaluación estándar.

Una IA más barata permite a las empresas usarla en tareas que antes salían demasiado caras. Pero los modelos más eficientes también necesitan menos cómputo para hacer el mismo trabajo. Quienes construyen centros de datos apuestan por que los nuevos usos compensen ese ahorro y generen suficiente demanda para recuperar la inversión. Nadie sabe todavía si les saldrán las cuentas.

2. Los gigantes de la nube tienen que adelantar el dinero

Pese a esa incertidumbre, Amazon, Alphabet, Microsoft y Meta prevén invertir en activos un total de unos 733.000 millones de dólares en 2026.

El dinero sale mucho antes de que empiece a entrar. En su carta a los accionistas, Andy Jassy, de Amazon, explica que la empresa suele pagar el terreno, la electricidad, los edificios y el equipamiento entre seis y 24 meses antes de empezar a facturar a los clientes por esa capacidad. Incluso con clientes comprometidos, la empresa tiene que adelantar la inversión.

3. La potencia contratada todavía no está toda disponible

La conexión a la red eléctrica es uno de los requisitos para poner en marcha un centro de datos. Una instalación no puede ofrecer capacidad de cómputo hasta que el edificio, la conexión de alta tensión y los chips estén listos en el mismo lugar y al mismo tiempo.

CoreWeave, por ejemplo, comunicó que en ese trimestre tenía 1,5 GW de potencia operativa y 3,7 GW contratados, y la cifra contratada aumentó después hasta los 4,2 GW que muestra el gráfico. Parte de la potencia contratada corresponde a instalaciones aún en desarrollo. Por eso, la diferencia entre ambas cifras no demuestra por sí sola que las obras vayan con retraso.

El fabricante de chips TSMC también quiere comprobar que esa infraestructura estará lista. La semana pasada explicó a los inversores que estaba enviando equipos a Estados Unidos para comprobar las obras de los centros de datos y el suministro eléctrico para planificar su propia capacidad de producción. Las primeras comprobaciones, según la empresa, eran positivas. TSMC seguía confiando en la demanda de IA.

4. Un centro de datos en tu país no te da el control de la IA

Al comprar cómputo, los gobiernos necesitan saber qué control obtienen a cambio. Mantener los datos públicos sensibles dentro del país es una de las promesas de la «IA soberana». Pero que el centro esté en el país no garantiza el control sobre su tecnología.

Un centro de datos puede estar en el país y depender de tecnología extranjera. El informe recoge proyectos que utilizan chips de NVIDIA y servidores de empresas como HPE. Cuando los chips avanzados requieren licencias de exportación estadounidenses, tener el dinero y el terreno no basta: el gobierno puede seguir necesitando el permiso de Washington para conseguir el equipamiento.

Al contratar estos servicios, los gobiernos pueden exigir garantías frente a esas dependencias. El contrato debe aclarar quién puede acceder a los datos sensibles, quién gestiona los sistemas en el día a día y qué sucede si un proveedor extranjero se retira.

5. La oposición local ya está retrasando proyectos

Los vecinos conviven con una gran instalación que consume mucha electricidad para atender a clientes que están en otra parte. Según cómo se refrigere, también puede consumir mucha agua. En una encuesta de Gallup de marzo de 2026, el 71 % de los adultos estadounidenses dijo que se opondría a un centro de datos de IA en su zona, frente al 53 % que se opondría a una central nuclear.

Los promotores prometen crecimiento económico y empleo durante la construcción, mientras que los vecinos se preocupan por el ruido, el consumo de agua y la subida de la factura eléctrica. Esa resistencia local ya está frenando la expansión: Data Center Watch contabilizó al menos 45 proyectos en Estados Unidos, con una inversión prevista de casi 68.000 millones de dólares, bloqueados o retrasados por la oposición local en el segundo trimestre de 2026.

Se pueden querer los beneficios de la IA y negarse a pagar las ampliaciones de red que necesita una tecnológica. Hasta el consejero delegado de CoreWeave ha dicho que los promotores deberían costear las ampliaciones de la red que necesitan para que el coste no recaiga en los hogares.

Ohio ya ha aprobado obligaciones concretas para los promotores. Su regulador eléctrico aprobó una tarifa eléctrica específica para los nuevos grandes centros de datos que reciben suministro de AEP Ohio. Los promotores deben pagar por una parte importante de la potencia contratada aunque finalmente utilicen menos. Las condiciones de AEP también les obligan a reembolsar todo el coste de las obras de conexión si cancelan el proyecto o lo retrasan más de doce meses antes de la fecha prevista de conexión. El objetivo es evitar que los hogares tengan que pagar inversiones en la red que queden sin uso, aunque varias asociaciones del sector de los centros de datos recurrieron la decisión.

La semana pasada, el gobernador de Pensilvania, Josh Shapiro, pidió intervenir ante el regulador eléctrico para defender que los grandes centros de datos paguen las ampliaciones de red que necesitan, en lugar de trasladar ese coste al resto de los consumidores.

Los permisos municipales pueden recoger compromisos concretos sobre empleo y consumo de agua, con mecanismos para comprobar su cumplimiento y consecuencias si la empresa incumple. Los contratos públicos de cómputo deben garantizar el acceso al servicio, permitir comprobar que funciona como se ha pactado y facilitar el cambio de proveedor.

Todo esto se negocia antes de conceder permisos o firmar contratos, incluido quién pagará si la demanda acaba siendo menor de lo previsto.

I want to disclose upfront that I’m not a China expert. My general understanding comes from brilliant researchers who follow its tech policy. But I’ve always been interested in how safety could fit into China’s AI ambitions and what it could mean for cooperation with the US, rather than the so-called “race”.

Last week, at their Washington summit, Xi Jinping and Donald Trump discussed AI on top of trade and security. Both governments announced a dialogue on advanced AI, with another meeting in November, and agreed to establish a “communication channel for AI incidents”, with no further details.

Chinese regulators and researchers are already working on AI risks and ways to reduce them. That gives the US and China something concrete to cooperate on. China also wants to build more powerful AI and use it across its economy. Cooperation may be easier when it helps make that development safer, and harder when it requires China to slow down or limit what it builds.

What China wants from AI

China wants to diffuse AI. Its national AI Plus program promotes applications across industry, research and public services. AI labs like DeepSeek and others also want more powerful models: Alibaba, for example, has announced more large-scale training. Since companies drive AI development, supported by local governments that have been encouraged to do so, safety policies would need to account for that incentive structure.

In the same vein, China’s economic ambitions also depend on businesses being able to use AI reliably and affordably. Safeguards that help companies adopt AI could therefore support those ambitions.

Something most of the people ignore is that China has been regulating AI since before ChatGPT, with rules for recommendation algorithms followed by generative AI rules in 2023. Companies face testing and registration requirements, including checks for compliance with political censorship. These requirements have delayed some releases. But as Matt Sheenan argues, they haven’t stopped Chinese companies from building models that compete with American ones.

Their rules have also changed as new concerns came up. Worries about people becoming emotionally dependent on chatbots led the government to crack down on AI companions. Major platforms heard the call and shut down their personalized companion features.

More powerful systems raise bigger issues, starting with whether people will be able to control them. And control is non-negotiable in China. In September, its cybersecurity standards committee published an updated guide to AI risks and safeguards. It addresses the possibility that models could deceive their supervisors, hide their capabilities, or resist being shut down. Chinese authorities want developers to prepare for these concerns, although the document itself doesn’t create new rules (it’s a framework).

That gives the US and China specific risks to discuss, even while their companies compete. The framework is nonbinding, though, so it doesn’t tell us what companies will actually have to do. If testing reveals that a model could evade human control, would officials require the developer to delay its release?

Open models bring the trade-offs into view

Open-weight models are how China wants to export its AI. Models that people can download and run on their own computers. This means that a company can build a product around one; a government can adapt it to local languages and they are free. They still need computing power and expertise, but other than that, they are free AI technology.

This strategy is part of China's foreign policy. We’ve heard it at the UN General Assembly, where they defended open development and other countries’ freedom to choose their suppliers. China’s pitch is that countries can use its models while keeping “sovereign” control. That’s very appealing to countries that can’t afford to build a model. Which is the global majority.

But let’s not lose sight that it is, first and foremost, a commercial strategy. Releasing the weights helps with the lack of trust over their products. Any company can use a model without sending its data to servers in China. Cheap, adaptable alternatives are the worst competition for American companies. That commercial advantage helps explain the appeal of open weights

There is also a safety case for open weights. Researchers can test models, and the models can be adapted to investigate attacks and protect systems. Restricting access to powerful AI also restricts what defenders can do with it. The supporters for openness say that more people need the tools to protect themselves.

What happens if someone removes the safeguards and modifies a model to create attack code? who should be responsible? Chinese scholars are asking that question, including how responsibility should be shared among the original developer, the hosting platform and the people modifying and using the model (if found)

Concordia AI and the Chinese developer Z.AI have also published proposals for managing these risks. They examine what happens when familiar safeguards, such as monitoring use or withdrawing a model, are no longer available to use. For China, there is a clear reason to work on this since serious misuse abroad could harm people in their own country too in all the ways abovementioned. Confidence takes long to be built and a second to be destroyed. Protecting access to overseas markets could itself become a reason to cooperate on safety.

Lost in translation

Even when American and Chinese researchers talk about AI safety, they don’t always mean the same thing. Chinese may point to laws that companies must follow. Americans may ask whether a model has been tested for dangerous capabilities. Each side can miss work the other considers important. And that means burning a bridge

For example “loss of control” can mean different things: an operator unable to stop a system, a state unable to contain the harm it causes, or humanity losing control altogether. A model helping a malicious user could threaten public security while following that user’s instructions perfectly. Getting specific about the failure matters for deciding what to do.

In my earlier post on calls to slow AI, I looked at the growing debate over restraint. “But China” is central to one of its most consequential arguments. Dario Amodei wants more time for safety work while keeping an American lead. He fears the military power that superior AI could give an authoritarian government. We all do. He calls for tighter restrictions on Chinese access to advanced chips.

It is no surprise that cooperation gets harder when safety proposals aim to keep the US ahead of China. That would mean accepting limits on its own development as part of an American safety agenda and chinese officials have opposed the confrontational framing while affirming the need to prevent AI risks. Critics of Amodei’s proposal also question whether China would automatically race ahead if US labs slowed, and how far model superiority translates into economic leadership.

China could have good reasons to share information with the US when an AI system does something dangerous, while opposing restrictions on the chips its companies need. To me, that helps explain why agreement on AI risks can coexist with disagreement over what to do about them, especially when a safety proposal would also help the US stay ahead.

What working together could look like

Has too much attention has been given to “mutual trust”? I agree that you only need “mutual interest” to cooperate. This proposal for parallel safety work focuses on each country improving its own safeguards, helped by selected exchanges of knowledge.

Three proposals about what that could involve:

• Share ways of testing dangerous capabilities. Teams could compare methods for detecting whether a model can help design a dangerous pathogen or evade human supervision. Both countries could use that knowledge in their own labs. The difficulty is that a testing method can also reveal how to build the capability being tested. Exchanges would need to differenciate useful safety knowledge from information that advances dangerous capabilities.

• Agree on what to report when something goes wrong. A Chinese state-media account has proposed common risk definitions, notification deadlines and requirements for information exchange. Another detailed incident-channel proposal wants to have technical teams available around the clock and a secure way to share records of what the model did. This could help establish whether an incident involved an AI system acting beyond its operators’ control, an independent attacker or a government. Both sides would still need to agree on how to protect sensitive information when sharing evidence.

• Work together to make AI-assisted biological research safer. Chinese scholars have proposed shared safety standards, exchanges of information and joint efforts to oversee labs and regularly check open models already in use. They worry that someone could use widely available AI to plan a harmful experiment, then have a remotely operated lab carry it out. Although after Wuhan, China would also have some convincing to do about how much it’s willing to share.

Geopolitics could still get in the way. Unrelated disputes have interrupted previous talks, and agreeing to an emergency channel doesn’t guarantee anyone will respond when needed and as needed. During a crisis, both governments may be reluctant to share the information the other needs.

Still, I think there’s enough here to work with.

Both countries have reasons to cooperate, and reasons to hide things. The US would benefit from warnings about dangerous Chinese models; China would benefit from warnings about American ones. Neither would want to share a weakness in its own systems or give away information that helps the other. A more pessimistic view is that either could downplay an incident, leave out details or lie.

That’s why I wouldn’t put too much faith in promises to share information. An agreement would need ways to be verified, through technical records and independent testing where possible. Even then, some claims would be hard to verify. I still see a reason to try: both countries could learn something that helps them prevent harm.

But they would need to keep protecting their own systems without assuming the other side is telling the whole story.

Lo más destacado de la semana

• Veintiocho países reclamaron pruebas de seguridad obligatorias antes de poner en uso los modelos de IA más avanzados. Propusieron valorar la creación de un organismo internacional que fije normas y ayude a verificar su cumplimiento.

• Estados Unidos rechazó un regulador mundial; China defendió un papel central para la ONU. Ninguno se sumó a la declaración.

• Los responsables de OpenAI y Anthropic advirtieron al Consejo de Seguridad del riesgo de perder el control de la IA. Pidieron cooperación en las pruebas de seguridad y normas comunes.

• Francia, España, Kenia y Australia impulsaron un plan de protección de la infancia. Reclama acceso a modelos y datos para investigar los riesgos de la IA para los menores. Los primeros compromisos voluntarios se esperan en noviembre.

Veintiocho países y la presidenta de la Comisión Europea cerraron la semana de alto nivel de la Asamblea General con una petición: mantener los sistemas de IA más avanzados bajo control humano. Finlandia y Noruega presentaron la declaración el lunes, en Nueva York. Canadá, Alemania, Francia, Kenia, Singapur y Sudáfrica estaban entre sus apoyos. Estados Unidos y China no figuraban en la lista de adhesiones.

António Guterres, secretario general saliente de la ONU, pidió un marco multilateral de gestión de riesgos con supervisión creíble e independiente. Al terminar la semana, seguía sin estar claro qué entendía cada cual por “control”.

Evaluar los modelos, frenar su desarrollo y aceptar un regulador internacional exigen compromisos distintos a gobiernos y empresas.

La declaración de los 28 pide pruebas obligatorias antes de poner los modelos en uso, acceso para evaluadores independientes e información compartida sobre incidentes graves. Propone estudiar una institución internacional que fije normas, facilite su verificación y reúna a los gobiernos cuando los modelos superen ciertos niveles de capacidad, aún por definir.

El texto no pide una pausa ni fija un plazo para crear la institución. Tampoco aclara si estaría dentro de la ONU o cómo se repartiría el trabajo con la Unión Internacional de Telecomunicaciones (UIT), que ya elabora normas técnicas sobre IA.

Este año, economistas e investigadores han reclamado preparación ante la pérdida de empleos; trabajadores de los laboratorios, mecanismos para coordinar una ralentización si fuera necesaria. En septiembre, un grupo de académicos pidió un tratado para pausar, ralentizar o detener el desarrollo de los modelos más avanzados. Y 42 matemáticos de la Royal Society, incluidos miembros extranjeros, solicitaron a título personal que la institución trasladara su alarma a los gobiernos y a la prensa.

Qué puede hacer el Consejo de Seguridad

El Consejo de Seguridad tiene la responsabilidad principal de mantener la paz y la seguridad internacionales y puede imponer sanciones y autorizar el uso de la fuerza. Lo integran quince países: diez elegidos por la Asamblea General para mandatos de dos años y cinco permanentes (Estados Unidos, China, Rusia, Francia y el Reino Unido), con derecho de veto sobre las decisiones de fondo.

El miércoles comparecieron ante él el investigador Yoshua Bengio y los responsables de OpenAI, Anthropic y Hugging Face. El ministro francés de Exteriores, Jean-Noël Barrot, presidió la sesión sobre IA y seguridad internacional.

Donald Trump había expresado el rechazo más rotundo ante la Asamblea General: Estados Unidos rechaza cualquier intento de imponer un control globalista sobre la IA. En el Consejo, Michael Kratsios, responsable de política científica y tecnológica de la Casa Blanca, descartó un regulador mundial. Respaldó las pruebas y la cooperación en ciberseguridad, con la regulación en manos de cada país, y animó a otros gobiernos a adoptar tecnología estadounidense.

China defendió un papel central para la ONU. Su representante, Fu Cong, apoyó la libertad de elección tecnológica, el código abierto y la participación de los países en desarrollo. A la vez, invitó a los Estados a incorporarse a la Organización Mundial de Cooperación en Inteligencia Artificial, con sede en Shanghái.

La evaluación independiente y la responsabilidad jurídica de las empresas fueron las exigencias de Francia. El Reino Unido, que tampoco firmó la declaración de los 28, pidió pruebas más exigentes y acceso de los gobiernos a información sobre los modelos. Su ministro de Exteriores, Ed Miliband, advirtió que proteger a la población no puede delegarse en empresas privadas.

Ver la sesión completa del Consejo de Seguridad.

Las empresas y sus promesas

Un regulador internacional necesitaría acceso a los sistemas de las empresas estadounidenses y autoridad para hacerles cumplir sus decisiones.

¿Cómo se supone que va a funcionar todo esto sin Estados Unidos?

Sam Altman propuso normas comunes de seguridad que cada gobierno pudiera incorporar a sus leyes, entre ellas avisar con rapidez y precisión de los incidentes. Esa misma semana, en Nueva York, el primer ministro australiano, Anthony Albanese, reprochó a OpenAI su tardanza en avisar de una intrusión que padeció Medicare y el canal que había utilizado.

OpenAI afirma que detectó el incidente a mediados de agosto y reconoce que debió avisar antes. Las autoridades australianas no habían encontrado indicios de acceso a datos personales y mantenían abierta la investigación.

Este fin de semana, The Wall Street Journal contó cómo unos agentes de IA sortearon restricciones para extraer datos de una web de la ONU. Buscaban estadísticas públicas de la UNCTAD. El investigador que reconstruyó su actividad considera muy probable que fueran de OpenAI y documenta que siguieron enviando peticiones cuando el servicio les pidió que pararan. Yo no pondría esa búsqueda de datos públicos en el mismo saco que Medicare.

Frente al riesgo de armas biológicas facilitadas por IA, Dario Amodei, de Anthropic, pidió acuerdos internacionales con pruebas y verificación comunes. Su empresa había publicado Claude Opus 5.5 el día anterior, diez días después de que él propusiera moderar el ritmo de desarrollo.

Clément Delangue, de Hugging Face, insistió en comunicar los incidentes y ampliar el acceso a herramientas defensivas. Bengio pidió licencias y pruebas independientes de seguridad antes de entrenar y poner en uso los modelos.

Las obligaciones de protección del consumidor y responsabilidad por productos ya se aplican a la IA, como recordó este mes Lina Khan, expresidenta de la Comisión Federal de Comercio de Estados Unidos. Los gobiernos pueden investigar si estos incidentes generan responsabilidad sin esperar a una nueva institución internacional.

Acceso, financiación y protección de la infancia

Para usar la IA, los países con menos recursos necesitan financiación y herramientas que funcionen en sus idiomas. La Fundación Gates ha anunciado al menos 1.000 millones de dólares en dos años para extender su uso en salud, educación y agricultura. Una coalición de 60 organizaciones, entre ellas Anthropic, Google y la Fundación OpenAI, busca mejorar la IA en lenguas poco representadas para que 3.400 millones de personas puedan utilizarla en su idioma en cinco años.

Unos 3.000 millones de dólares para los primeros dos a cuatro años: esa es la cifra orientativa que Guterres plantea para el fondo mundial de acceso a la IA en los países en desarrollo. Se acerca al presupuesto ordinario de la ONU para todo 2026, de 3.450 millones.

Busca esos fondos en plena crisis financiera de la ONU, cuestionada también por su gestión y sus resultados. Su órgano independiente de inspección señala que muchas entidades no coordinan bien sus planes y presupuestos, y que a menudo faltan metas anuales para medir los avances. El presidente de la Asamblea General advirtió esta semana de que la incapacidad del Consejo de Seguridad para actuar pone en cuestión la eficacia de toda la organización.

Francia, España, Kenia y Australia reclamaron acceso a modelos y datos para que investigadores independientes evalúen los riesgos para los menores. Su hoja de ruta sobre los derechos de la infancia prevé los primeros compromisos voluntarios en noviembre, en el Foro de París sobre la Paz.

Nuevas instituciones en una ONU en plena reforma

Los presupuestos revisados de la Secretaría para 2026 recortan más de un 9 % de los recursos y un 21 % de los puestos respecto a 2025. Forman parte de UN80, la reforma con la que la ONU intenta reducir la fragmentación y la competencia interna. Los gobiernos también han aprobado la fusión de dos centros de formación de la ONU.

El presidente finlandés, Alexander Stubb, quiere situar a la ONU en el centro de las nuevas normas e instituciones. Quienes defienden esa opción tendrán que explicar cómo encajaría un nuevo organismo en esa reforma.

La ONU ya cuenta con un panel científico para evaluar la evidencia y un Diálogo Mundial para reunir a los participantes en el debate. Los gobiernos acordaron crear el panel en el Pacto Digital Global de septiembre de 2024. Su mandato y funcionamiento se concretaron en agosto de 2025, y el primer informe preliminar llegó en julio de 2026. Casi dos años para un órgano consultivo. Esta semana presentó un avance sobre la intrusión sufrida por Hugging Face en verano.

Más de tres años separaron la propuesta de Eisenhower del nacimiento del Organismo Internacional de Energía Atómica, en julio de 1957. La Organización para la Prohibición de las Armas Químicas empezó a funcionar en abril de 1997, más de cuatro años después de que su tratado se abriera a la firma, tras negociaciones anteriores.

Subscribe now

El 31 de diciembre termina el mandato de Guterres, que esta semana pronunció su último discurso ante el debate general como secretario general. El próximo Diálogo Mundial sobre la Gobernanza de la IA, previsto para mayo de 2027, se celebrará bajo su sucesor.

Para los países con poca influencia sobre los grandes proveedores de IA, la ONU ofrece un foro donde participar en la definición de las reglas. Esa representación no les asegura acceso a los modelos ni medios técnicos para comprobar si las empresas cumplen las normas. Los promotores de la declaración aún deben explicar qué poderes les faltan a las instituciones actuales, quién los ejercería y qué obligaciones aceptarían ellos mismos.

The week’s highlights

• Twenty-eight countries called for mandatory safety tests before the most advanced AI systems are released. They also proposed exploring an international body to set standards and help check whether developers meet them.

• The US rejected a global AI regulator; China called for a central UN role. Neither signed the 28-country statement.

• The heads of OpenAI and Anthropic warned the Security Council about losing control of AI. They called for countries to cooperate on safety testing and common standards.

• The UN launched practical support for countries developing their own AI plans. A new guide helps governments identify infrastructure needs and how to pay for them.

• France, Spain, Kenya and Australia advanced a plan to protect children from AI harms. It seeks access to developers’ models and data for independent research, with initial voluntary commitments expected in November.

Last week was intense at UNGA High Level week. AI took over this 81st session.

By Friday, leaders representing 28 countries, together with the president of the European Commission, had backed a call to keep the most advanced AI systems under human control. Finland and Norway launched it on Monday in New York. Signatories included Canada, Germany, France, Kenya, Singapore and South Africa. The United States and China didn’t appear on the endorsement list.

The outgoing UN Secretary-General António Guterres called for “a multilateral AI Risk Management Framework, supported by credible and independent oversight”. By the end of the week, it was hard to tell what everyone meant by “control.”

The so-called frontier call wants 3 things: mandatory testing before a model ships, real access for independent evaluators, and shared reporting when something goes badly wrong. Then it asks member states to start exploring a new international institution, one that would set standards, verify them, and summon governments once models cross certain capability thresholds. Nobody has defined those thresholds. There’s no pause on development, no deadline for the institution, and no answer on whether it would live inside the UN, or how it would divide the turf with the ITU, the UN agency already writing technical standards for AI.

Governments are joining a crowded group with their call. This year, economists and AI researchers called for preparation for job displacement, while laboratory employees have asked for tools that would let them coordinate a slowdown if needed. In September, academics called for a treaty to pause, slow or halt frontier development. And on top of those, 42 mathematicians who are Fellows or Foreign Members of the Royal Society asked the Society to carry their alarm to governments and the press.

What the Security Council can do

On Wednesday, France’s Minister for Europe and Foreign Affairs, Jean-Noël Barrot, chaired a Security Council briefing with scientist Yoshua Bengio and the heads of OpenAI, Anthropic and Hugging Face. Supporters argue the Council’s responsibility for international peace and security gives it a role in AI-enabled bioweapons and attacks on critical infrastructure. The speeches exposed real disagreement over how far international oversight should reach.

The loudest disagreement was heard at the General Assembly: Donald J. Trump, President of the United States, said his country “totally rejects any attempt to construct a globalist scheme of control” over AI. Michael Kratsios, Director of the White House Office of Science and Technology Policy, told the Council: “A prosperous future will not be secured by a global regulator.” He supported testing, cybersecurity cooperation and national regulation, while urging countries to adopt American technology. Washington keeps regulatory authority with national governments.

Fu Cong, China’s Permanent Representative to the United Nations, urged countries to “support the United Nations in playing a central role in global AI governance.” He defended technological choice, open-source development and developing-country participation. Alongside that support for the UN, he invited states to join the Shanghai-based World Artificial Intelligence Cooperation Organization.

France intervention backed independent evaluation and company liability. UK, also absent from the frontier call’s signatories, supported stronger oversight through stronger tests and government access to information about models. Its Foreign Secretary, Ed Miliband, said governments “cannot outsource to private companies the first duty of government to protect our people.”

Watch the full Security Council meeting.

The companies and their promises

However, I keep coming back to something quite basic. A global AI regulator needs two things: access to American labs, and the power to enforce its decisions against them. Washington just said no to both.

So here's the obvious question: how is any of this supposed to work without the United States?

OpenAI’s Sam Altman proposed common safety standards that governments could fold into national law, including “accurate and speedy” incident reporting. That same day, in New York, Australia's prime minister Anthony Albanese told a rather different story. An OpenAI research agent had broken into a Medicare statistics portal back on 18 June. Australia found out on 10 September — via a public email address. Albanese called out the channel and said it had taken 'way too long.' OpenAI's version: it discovered the activity in August and had been investigating what was accessed. No personal data is believed to have been touched; investigations continue.

The Wall Street Journal then reported activity against a UN website — attempts to bypass restrictions on UNCTAD’s public statistics service, with an OpenAI connection judged highly likely.

I’d put this in a different bucket from the Medicare story. The agents were after public data. The research didn’t call it hacking, and nothing in the findings establishes a breach of confidential UN systems. Still: if your public statistics service can be gamed by an automated agent, better protection against automated misuse seems like the obvious next step

Anthropic’s Dario Amodei urged international agreements on threats such as AI-enabled biological weapons, with common testing and verification. His company had released Claude Opus 5.5 the previous day, 10 days after his proposal to pace the frontier.

Hugging Face’s Clément Delangue emphasized incident disclosure and wider access to defensive tools. Bengio went further, advocating licensing and independent evidence of safety before training and deployment, which would make permission to proceed depend on more than the developer’s own assessment.

Some enforcement doesn't need to wait for any of these proposals. Lina Khan, former Chair of the US FTC, argued this month that “existing legal obligations absolutely apply,” including consumer protection, product liability, the lot, while accepting there may be gaps before products reach the market. Whether any particular incident creates liability is a question for investigators. Governments can do that work now, no international institution required.

Access, funding and children’s safety

The week also took up the means to actually use AI, a live concern for governments with limited technical capacity. The biggest answer came from the Gates Foundation: at least $1 billion over two years for AI in health, education and agriculture, plus a 60-organisation coalition (Anthropic, Google, the OpenAI Foundation and others) to make AI work in underrepresented languages, aiming to reach 3.4 billion people within five years. The UN, for its part, launched a blueprint for national AI and data strategies, piloted in Lesotho. ITU and Google separately announced 100,000 online-certificate scholarships.

In a report published on 11 September, Guterres recommended that the General Assembly endorse the need for a Global Fund for AI Capacity-Building and develop its objectives and governance. He suggested roughly $3 billion for its first two to four years, an indicative budget. For scale: $3 billion is roughly the cost of running the entire UN for a year (the 2026 regular budget is $3.45 billion). It is being proposed at a moment when the organization is cutting $500 million from that budget and a fifth of its staff. Then there is the Windfall Trust's proposed Global Endowment, a mechanism to share the wealth generated by AI more broadly

France, Spain, Kenya and Australia advanced a children’s-rights roadmap, calling for independent researchers to have access to models and data to assess risks to children. The first voluntary commitments are expected at the Paris Peace Forum on 10–11 November.

New institutions during an institutional overhaul

Finland’s president, Alexander Stubb, argued for the UN to be at the centre of rule-making and institution-building. The joint call leaves that institutional choice open. If governments choose a UN body, they will have to explain how it fits within an organization already trying to reduce fragmentation and competition. Under UN80, its reform programme, revised Secretariat budgets for 2026 cut resources by more than 9% and posts by 21 % against 2025. Governments have also approved merging the UN System Staff College into the UN Institute for Training and Research.

ITU’s technical recommendations are generally voluntary unless governments put them into law. In July, it convened a workshop on frontier-model testing and verification. Giving a new institution the power to enforce safety requirements would be a different undertaking.

The UN also has a scientific panel to assess evidence and a Global Dialogue to convene discussion. Governments committed to the panel in the September 2024 Global Digital Compact; the terms of reference and modalities followed in a General Assembly resolution in August 2025; its first preliminary report appeared in July 2026, about 2 years later, for an advisory body. This week it published an advance brief on the summer breach of Hugging Face’s systems by AI agents being evaluated at OpenAI.

Institutions with stronger powers have taken years to establish. The International Atomic Energy Agency came into existence in July 1957, more than three years after US President Dwight D. Eisenhower’s proposal. The Organisation for the Prohibition of Chemical Weapons began in April 1997, more than four years after its treaty opened for signature, following earlier negotiations.

Guterres delivered his final General Debate address as Secretary-General this week. His term ends on 31 December; the next Global Dialogue on AI Governance, scheduled for May 2027, will take place under his successor.

Everyone wants AI governed. No one wants to be governed. For countries with little influence over the major AI suppliers, the UN offers a forum to help shape proposals for safety testing, independent evaluation and incident reporting. But representation is not verification: it supplies neither the access, the expertise nor the authority to check compliance. So the frontier call's backers still owe three answers.

Which powers do existing institutions lack? Who would exercise them? And what obligations would those governments accept for themselves? Until those are answered, treat company promises as claims to be tested, and remember governments already have laws they can enforce.

Esta semana, la presidenta de la Comisión Europea, Ursula von der Leyen, pidió cooperar en IA con Canadá, Reino Unido y otros países:

“Queremos colaborar en la evaluación de modelos, la verificación, la alerta temprana, la seguridad de la IA y mucho más”.

Ursula von der Leyen, discurso sobre el estado de la Unión, 16 de septiembre de 2026

Al día siguiente, Carney propuso compartir capacidad de cómputo entre Canadá y Europa. Canadá y Alemania preparan, además, una Alianza por la Soberanía Tecnológica. Sus copresidentes se reunieron el 16 de septiembre y prevén ponerla en marcha con los miembros fundadores en los próximos meses. Aún no han concretado la financiación ni los compromisos de compra conjunta.

Los países que dependen de la IA extranjera tienen razones para asociarse: evaluar riesgos cuesta dinero y negociar juntos puede darles mejores condiciones de acceso. Lo difícil empieza cuando quieren cambiar las decisiones de sus proveedores.

En Hoy por Hoy defendí que Europa aún puede influir en el rumbo de la IA, hoy en manos de muy pocos, y participar con peso propio más allá de regular desde la distancia.

Lucía Velasco sobre la cooperación entre potencias medias en IA, en Hoy por Hoy, el programa matinal de la Cadena SER. 14 de septiembre de 2026; fragmento: 12:04–13:22.

Lo que las potencias medias han reclamado antes

La idea de una potencia media se remonta a la Italia del siglo XVI: Estados entre los grandes y los pequeños, con fuerza suficiente para valerse por sí mismos. Siglos después, diplomáticos canadienses y australianos recurrieron al concepto para defender su papel en el orden de posguerra.

Durante la creación de las Naciones Unidas, Canadá y Australia reclamaron más peso en las decisiones por su contribución a la seguridad internacional. En 1945, lograron que esa contribución contase al elegir a los miembros no permanentes del Consejo de Seguridad. El criterio quedó recogido en el artículo 23 de la Carta, junto con la representación geográfica. Las grandes potencias conservaron sus privilegios.

Mientras reclamaban más representación, discrepaban sobre las sanciones. Canadá quería que las decisiones del Consejo obligasen inicialmente solo a sus miembros y a los países que aceptasen ejecutarlas. Australia defendía que obligasen a todos los Estados miembros: la incertidumbre sobre su aplicación podía alentar a un agresor.

Una coalición de compra de IA podría afrontar el mismo problema si un socio quisiera adquirir un modelo rechazado por los demás. Coincidir en el riesgo no significa aceptar que la decisión sea vinculante para todos.

En este artículo, “potencias medias” se refiere a países con recursos e instituciones para participar en la IA, pero que dependen de sistemas avanzados extranjeros: Canadá, Reino Unido, Japón, Corea del Sur, Singapur, Francia, Alemania o Países Bajos. Algunos también desarrollan modelos propios con buenas prestaciones.

¿Influencia sobre qué decisiones?

Los equipos de investigación pueden detectar riesgos y crear estándares que las empresas adopten. Un país con proveedores esenciales para fabricar chips tiene otra baza para negociar. Y vender en varios mercados puede compensar a una empresa por aceptar condiciones comunes. Cada recurso permite influir en decisiones distintas.

Los organismos públicos de IA de Japón, Corea del Sur, Singapur, Reino Unido y Canadá ya comparten métodos de evaluación a través de una red internacional en la que también participa Estados Unidos. Un ejercicio conjunto publicado en enero permitió perfeccionar pruebas sobre filtraciones de información, fraude y amenazas a la ciberseguridad.

Los gobiernos pueden apoyarse en esas pruebas para decidir qué comprar. El marco de contratación pública de IA distingue las prestaciones del sistema, la influencia del comprador sobre su desarrollo y uso, y las garantías de acceso. Los socios no tienen por qué valorarlas igual: uno puede aceptar un modelo menos capaz si tiene más garantías de seguir usándolo; otro querrá el que mejor funcione.

Fuente: Public procurement and AI governance: Developing a strategic framework for middle powers, RAND Europe, 2026, figura 2, p. 25.

Los gobiernos podrían comprar por separado y exigir las mismas evaluaciones independientes y la comunicación de fallos. También podrían compartir el coste de comprobar que las empresas cumplen. Pero los contratos públicos aún pesan poco en el negocio de los grandes desarrolladores: una empresa puede preferir perder clientes antes que aceptar sus condiciones. Tampoco puede garantizar el acceso si el gobierno del país donde tiene su sede le ordena cortar el servicio.

Un proveedor podría romper esa coordinación con una buena oferta a uno de los socios. Rechazarla saldría especialmente caro a quienes tengan peores alternativas. Cambiar de empresa tampoco asegura dejar atrás la misma infraestructura en la nube. Incluso una compra conjunta puede aumentar la dependencia si solo los grandes proveedores pueden costear los requisitos exigidos.

Los países que albergan grandes centros de datos podrían exigir que se notificasen los entrenamientos de modelos a gran escala o condicionar el acceso a la computación a auditorías de seguridad. Es una forma de supervisar la IA a través de su infraestructura. Los países que suministran equipos esenciales para fabricar chips también podrían ayudar a negociar esas condiciones. Su fuerza disminuiría si las empresas pudieran trasladar el trabajo a otro lugar. Además, la supervisión podría exponer datos sensibles o dar demasiado poder a los proveedores de la nube.

Una posición más escéptica sostiene que intentar imponer restricciones a las empresas estadounidenses o chinas daría pocos resultados. A las potencias medias les convendría más proteger a su población frente a los usos maliciosos de la IA y preparar su economía para los cambios que esta pueda provocar.

Una empresa puede vender a un gobierno una versión con más protección frente a los ciberataques y lanzar otra con menos restricciones en el extranjero. Ese gobierno habrá protegido mejor sus servicios públicos, pero seguirá expuesto a ataques facilitados por el mismo modelo.

Los gobiernos pueden reforzar sus defensas sin esperar a que una empresa cambie de rumbo. Parte de esa defensa puede depender del acceso a la IA avanzada extranjera, que sería más difícil de asegurar si los países que la desarrollan restringiesen su venta por motivos militares.

Las decisiones pendientes de Europa

En su informe de 2024, Mario Draghi describió esfuerzos duplicados, financiación fragmentada y políticas mal coordinadas. Pidió financiar más proyectos en común, simplificar las normas y acelerar las decisiones. También planteó que los países dispuestos a avanzar pudieran hacerlo sin esperar a todos.

Con el respaldo de la Comisión Europea, Francia y Alemania anunciaron en noviembre de 2025 una iniciativa para desarrollar IA de frontera, los modelos más avanzados. La ambición era crear la entidad sin ánimo de lucro mejor financiada del mundo en ese ámbito. Debía constituirse en el primer semestre de 2026. En julio, aún estaban definiendo las estructuras que la gestionarían.

La UE ya tiene normas para los modelos extranjeros vendidos en Europa e instituciones encargadas de aplicarlas. Financiar modelos propios obliga a decidir, además, qué desarrollar aquí, qué obtener de los socios y cuánto dinero público comprometer.

De la posición de Europa ante una IA liderada por Estados Unidos y China hablé también con El País en este vídeo, publicado el 15 de septiembre.

El riesgo de dependencia fue una de las preocupaciones del informe sobre Europa y la geopolítica de la inteligencia artificial general (AGI; no es mi término favorito) del que fui coautora el año pasado. Esos sistemas podrían acelerar la investigación y la producción, pero también dar ventaja militar y capacidad de presión a los países que los controlasen. No sabemos cuándo llegará la IA a ese punto, ni si lo hará. Entre las opciones que examinamos figuraban la investigación y la computación compartidas con Canadá, Japón y Corea del Sur.

La propuesta independiente Transformative AI Strategy for Europe estima el coste de competir con las grandes empresas de IA: unos 800.000 millones de euros en tres años para un proyecto europeo, en un escenario de avances rápidos. La estimación oscila entre 445.000 millones y 1,04 billones. Solo los chips y los centros de datos absorberían unos 529.000 millones de la cifra central. La mayor parte del dinero tendría que ser público.

Por eso, la estrategia prioriza el acceso fiable a la IA extranjera. Propone una alianza en la cadena de suministro entre, al menos, Países Bajos, Alemania y Francia, abierta a socios de confianza de fuera de la UE. Su objetivo es resistir las presiones políticas sobre ese acceso, no dictar cómo desarrollan IA las empresas extranjeras. Un país con un proveedor clave de chips tendría capacidad de negociación, pero usarla podría perjudicar a su empresa y provocar represalias. Los socios tendrían que acordar cómo compartir esos costes.

También habría espacio para una empresa europea con financiación y respaldo político sostenidos. Un proyecto propio sin fondos serviría de poco si, mientras tanto, se hubiera descuidado el acceso a los sistemas extranjeros.

Un gobierno que ha financiado una empresa tendrá también motivos para protegerla. En unas simulaciones de crisis con responsables públicos de Francia, Alemania y Países Bajos, un modelo ficticio con respaldo público facilitaba ciberataques. Los participantes se encontraron ante una decisión incómoda: restringirlo suponía actuar contra la empresa que su propio gobierno había apoyado, con dinero y planes industriales en juego.

Distintas formas de cooperar

La cooperación tampoco exige que todos los países asuman los mismos compromisos. Puede organizarse en grupos pequeños, formados para resolver un problema concreto. Es lo que se conoce como minilateralismo: reunir a los países necesarios para conseguir resultados y dejar la puerta abierta a otros.

Schengen comenzó con cinco países en 1985; diez años después, siete habían suprimido los controles en sus fronteras comunes. En el proceso de Ottawa, Canadá, Noruega, Austria y Sudáfrica ayudaron a organizar una coalición más amplia junto a activistas y organizaciones internacionales. De ella surgió el tratado de 1997 que prohíbe las minas antipersona, firmado inicialmente por 122 países.

Las diferencias de intereses llevarán a los países a sumarse a unas coaliciones y quedarse al margen de otras. Compartir capacidad de cómputo o asegurar el suministro de chips puede requerir la participación de otros socios. Para supervisar grandes entrenamientos harían falta los países que albergan los centros de datos; para condicionar la venta de equipos, los exportadores.

La cumbre de IA de Ginebra de 2027 ofrecerá un espacio para esta conversación. Está por ver hasta dónde coinciden los intereses de las potencias medias y qué están dispuestas a asumir para actuar juntas.

This week, European Commission president Ursula von der Leyen called for cooperation on AI with Canada, Britain and others:

The following day, Carney proposed pooling Canadian and European computing resources in his address to the European Parliament. Canada and Germany are already putting together a Sovereign Technology Alliance. Its co-chairs met on 16 September, with a launch planned in the coming months. Their announcement leaves funding and any common purchasing commitments unspecified.

Mark Carney addressing the European Parliament. © Yves Herman/Reuters.

Countries that depend on foreign AI have reasons to cooperate even when they cannot persuade a leading developer to change its plans. They can share the cost of investigating dangerous capabilities and negotiate for access with stronger safeguards. If they want a developer to accept safety restrictions it opposes, governments would need to explain what they can offer, or withhold, to change its decision.

What middle powers have claimed before

The idea of a middle power dates to 16th-century Italy, where it described states between the great and the small, with enough strength to stand on their own. Canadian and Australian diplomats later gave “middle power” a place in the debate over how the postwar world should be governed.

During the negotiations that created the United Nations, Canada and Australia argued that their contributions to international security should earn them a greater say. In 1945, they pressed for those contributions to count when electing countries to temporary seats on the UN Security Council. That idea made it into Article 23 of the Charter, alongside geographical representation. It did not remove the great powers’ special privileges.

Even as they argued for better representation, Canada and Australia disagreed about enforcing sanctions. A diplomatic cable from the negotiations records Canada’s proposal: Council decisions should initially bind only countries on the Council and those that had agreed to carry them out. Australia wanted all members bound, arguing that uncertainty about enforcement would encourage an aggressor.

An AI purchasing coalition would face a similar disagreement if 1 member insisted on buying a model that the others had rejected. The governments might agree about the risk while disagreeing over whether that assessment should bind them all.

For this discussion, I use “middle powers” to mean countries with the money and institutions to play a part in AI, but which still rely on advanced systems from abroad. That includes Canada, Britain, Japan, South Korea and Singapore, as well as France, Germany and the Netherlands. Some build capable models of their own.

Influence over which decisions?

Research teams could identify risks and develop testing methods that companies adopt. Suppliers of essential chip components could give governments something to bargain with. Access to customers could give companies a reason to meet common requirements.

Public AI bodies in Japan, South Korea, Singapore, Britain and Canada already share testing methods through an international network that also includes the United States. A joint exercise published in January refined tests for information leakage, fraud and cybersecurity threats.

Governments could use those findings when deciding which systems to buy and what to ask of their suppliers. A procurement framework distinguishes a system’s capabilities from the buyer’s influence over its development and use, and from guarantees of continued access. A government willing to accept a less capable model in return for stronger guarantees may struggle to agree on terms with a partner that prioritises performance.

Source: Public procurement and AI governance: Developing a strategic framework for middle powers, RAND Europe, 2026, Figure 2, p. 25.

Governments could keep buying their own systems while asking suppliers for the same independent tests and reports of failures. They could then share the cost of checking whether companies had kept their promises. Public contracts still account for a relatively small part of the leading developers’ business, so a company might prefer to lose those customers than accept their conditions. And a supplier’s promise of continued access may be impossible to keep if its home government orders it to cut a customer off.

A supplier could also offer one government a better deal to persuade it to leave the group. Refusing that offer would cost some members more than others, especially where the alternatives were more expensive or less capable. Even changing companies might leave them using the same cloud infrastructure. Buying together could deepen their dependence on a single supplier if the common requirements were too expensive for smaller competitors to meet.

Countries that host large AI data centres could require cloud providers to report major training runs, or make access to computing power conditional on safety audits. These are among the proposals for compute governance: using the infrastructure needed to train and run models to check and enforce rules. Countries supplying essential chipmaking equipment could also help negotiate such conditions. Developers would have less reason to accept the conditions if they could move the work elsewhere. Monitoring could also expose sensitive data or give cloud providers excessive power over their customers.

A more sceptical view says there is little to achieve by trying to constrain American or Chinese developers. Middle powers would do better to protect their own societies from misuse and economic disruption.

A developer might respond to governments worried about cyberattacks by adding safeguards to the version it sells them, while releasing a less restricted model elsewhere. The buyers would get better protection for their public services and still face attacks enabled by the same system.

Governments can strengthen their cyber defences without waiting for the developer to change course. Sharing the cost of evaluating its models would help them work out what to prepare for, even where they had little influence over the release. Some of those defences may depend on access to advanced AI from abroad. Securing that access could become harder if the countries developing the systems treat them as military assets and restrict their sale.

Europe’s unresolved choices

In his 2024 report, Mario Draghi described governments duplicating each other’s efforts, dividing up funding and pursuing industrial, trade and fiscal policies that did not work well together. He called for more joint funding, simpler rules and faster decisions. His proposal to let willing countries proceed when others could not agree seems especially useful for an AI coalition whose members will have different priorities.

With European Commission support, France and Germany announced a European Frontier AI Initiative in Berlin last November. A founding task force was to establish a nonprofit public-private initiative in the first half of 2026. The ambition was to make it “the best funded non-profit Frontier AI initiative in the world”. In July, France and Germany were still listing work on the organisations that would run it among their next steps.

The EU already has AI rules that apply to foreign models sold in Europe and institutions responsible for enforcing them. The frontier initiative would also make governments funders of the technology. They would have to agree on what to develop in Europe, what to obtain from partners and how much public money to commit.

Those choices were part of a report on Europe and the geopolitics of AGI (not my favourite term) that I co-authored last year. The prospect of faster research and higher output came with a concern about dependence on countries able to use those systems for military advantage or political pressure. We do not know when, or whether, AI will reach that point. Our preparedness plan included decisions about what Europe would build itself and what it could obtain through partnerships, including research and shared computing resources with Canada, Japan and South Korea.

The independent Transformative AI Strategy for Europe puts a rough price on trying to build a European rival to the leading AI companies: around €800 billion during the initial 3 years under a scenario of rapid AI progress, with a range of €445 billion to €1,040 billion. Roughly €529 billion of the central estimate is for AI chips and the data centres to house them. Most of the money would have to come from public funds.

The strategy therefore prioritises reliable access to foreign AI. It proposes a supply-chain alliance involving at least the Netherlands, Germany and France, open to trusted partners outside the EU, to resist attempts to use access to AI for political pressure. The authors give this alliance a defensive purpose; they do not expect it to dictate how foreign companies develop AI. A member with an important chip supplier could contribute to that effort, although using its position might hurt its own company and invite retaliation. Members would have to decide how much of those costs they were willing to share.

The strategy also leaves room for a European developer if governments are prepared to keep funding and supporting it. A domestic project that runs short of money would be of little help if access to foreign systems had been neglected along the way.

A government that has helped to build a developer may be reluctant to restrict its models when safety concerns emerge. In simulated AI crises involving European officials, participants in France, Germany and the Netherlands faced cyberattacks enabled by a fictional, publicly backed model. Restricting it meant acting against the company their government had helped to build, with public money and industrial ambitions tied to its success.

Different ways to work together

Cooperation will take some imagination about which countries work together and how. Minilateralism, a term used in 1992 and popularised in 2009, starts with a smaller group assembled around a particular problem. The idea is to include the countries needed to make a difference, leaving room for others to join.

Schengen began with 5 countries in 1985; 10 years later, 7 had removed controls at their shared borders. In the Ottawa process, Canada, Norway, Austria and South Africa helped organise a wider coalition with campaigners and international organisations. It produced the 1997 treaty banning anti-personnel mines, signed by 122 countries when it opened for signature.

Different interests will lead countries to join some coalitions and sit out others. The AI testing network already includes the United States. Its members might choose different partners to pool computing resources or secure chip supplies. An agreement to monitor large training runs would need the countries hosting the relevant data centres, while conditions on equipment sales would involve the exporting countries.

The AI summit in Geneva in 2027 would be a good place for middle powers to discuss what they want from cooperation on AI and where their interests overlap.

Subscribe now

La semana anterior había preparado el terreno. El senador estadounidense Bernie Sanders presentó un proyecto de ley para prohibir el desarrollo de IA superinteligente y suspender el desarrollo de IA avanzada hasta que un regulador federal haya redactado normas de seguridad. En Reino Unido se registró una propuesta de ley para prohibir la superinteligencia artificial, y más de 70 diputados y lores, quince de ellos exministros, escribieron al primer ministro, Andy Burnham, para pedirle que la respaldara. Jacob Coxon, un investigador que había trabajado en OpenAI y en Anthropic, dimitió con un mensaje en el que decía que los laboratorios “van directos hacia una superinteligencia que se mejora a sí misma y se están jugando nuestras vidas”. Evan Hubinger, responsable de ciencia del alineamiento en Anthropic, le contestó en público: “En esto, Jacob tiene razón”. El presidente Trump dijo que no comparte esos temores, pero en junio su Administración ya había invocado la seguridad nacional para restringir el acceso a los modelos más avanzados de Anthropic, Mythos 5 y Fable 5.

Prohibición, pausa o acuerdo para marcar el ritmo: los últimos diez días tienen algo en común. La velocidad a la que se desarrolla la IA es una decisión, y debería tomarla alguien ajeno a las propias empresas. En 2023 eso era una posición marginal.

Ese tipo de cambio tiene nombre. Joseph Overton acuñó el término a mediados de los años noventa para referirse al abanico de políticas que un político puede defender sin pagarlo en las siguientes elecciones. Su argumento trataba de quién mueve la ventana. “Los políticos son más seguidores que líderes”; la ventana suele desplazarse por “la lenta evolución de los valores y las normas de la sociedad”, y solo rara vez porque un político se atreva a plantarse fuera de ella. Leído así, la ventana parece estar moviéndose.

En 2023 el debate iba más de aplicaciones. Cuando Altman compareció ante el Senado, seis meses después del lanzamiento de ChatGPT, pidió licencias o un registro “para el desarrollo y la publicación de modelos de IA por encima de un umbral crítico de capacidades”, pruebas antes del lanzamiento y la fijación de estándares internacionales. Los gobiernos podrían gestionar los riesgos de los sistemas a medida que estos llegaran al mercado. La UE construyó su Reglamento de IA sobre esa misma lógica en 2024, y en la cumbre de Seúl sobre IA 16 empresas prometieron, de forma voluntaria, renunciar por completo a desarrollar o desplegar un modelo “si no se pueden aplicar mitigaciones que mantengan los riesgos por debajo de los umbrales”.

La carta abierta de marzo de 2023 que pedía una pausa de seis meses en el entrenamiento de cualquier cosa más potente que GPT-4 reunió más de 30.000 firmas y no sirvió de nada. Visto con perspectiva, entonces tenía poco sentido porque los modelos no eran tan buenos.

Los incidentes

Este verano, durante una evaluación de ciberseguridad que se ejecutó en un sandbox sin la debida configuración, unos 1.200 agentes que en teoría estaban aislados entre sí encontraron la forma de comunicarse, intercambiaron más de 70.000 mensajes y se organizaron. Unos 700 atacaron Hugging Face, una empresa ajena a la prueba, y lograron ejecutar código en varios de sus servidores. Algunos obtuvieron acceso de administrador a sistemas de OpenAI. Lo hizo público la propia OpenAI.

METR y Redwood Research, los ya célebres evaluadores independientes, descubrieron que los agentes habían formado equipos para investigar formas de engañar al software que los puntuaba, y que habían aprendido a falsear el registro de sus propias acciones. Ajeya Cotra, una de las investigadoras, escribió que el incidente “fue mucho más grave de lo que yo esperaba, y mucho más grave que los incidentes de desalineamiento documentados públicamente hasta ahora”.

Anthropic se puso entonces a buscar y encontró otros tres incidentes.

El problema viene de lejos. En 2016, OpenAI describió un sistema de IA que había aprendido a jugar a un videojuego de carreras. En vez de completar el recorrido, daba vueltas por una laguna y derribaba una y otra vez los mismos tres objetivos, porque así conseguía más puntos. Cumplía con lo que el juego premiaba, pero no con lo que sus creadores querían que hiciera. Ese mismo fallo resulta más peligroso cuando los sistemas pueden realizar tareas mucho más complejas.

En un texto publicado el viernes, Yoshua Bengio, el investigador de IA más citado del mundo, sostiene que corregir estas conductas una a una no resuelve el problema de fondo. Si un sistema hace trampas para obtener una buena puntuación y quien lo evalúa no las detecta, el entrenamiento refuerza esa conducta. Además, si el sistema reconoce cuándo está pasando una prueba, puede aprender a comportarse bien durante la evaluación y actuar de otra manera cuando se utiliza fuera de ella.

Por eso, Bengio propone exigir, antes de entrenar o poner en uso una IA, una justificación de su seguridad respaldada por pruebas y lo bastante sólida como para convencer a expertos independientes. No bastaría con que el sistema aprobara una evaluación: habría que explicar por qué se considera seguro y aportar pruebas que sostengan esa conclusión.

Los de dentro

En julio, 1.386 personas que trabajan en las empresas de IA de frontera firmaron una declaración en la que pedían al Gobierno de Estados Unidos que “apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para marcar deliberadamente el ritmo de la frontera del desarrollo automatizado de la IA”. Los nombres que encabezaban la lista no eran los de disidentes: Amodei; Ilya Sutskever; Jakub Pachocki, científico jefe de OpenAI; Shane Legg, cofundador de Google DeepMind; Shengjia Zhao, científico jefe de Meta. Las empresas están cerca de automatizar la propia investigación en IA. Si eso sucede, la capacidad de los modelos podría crecer más deprisa de lo que nadie pueda entender o controlar, y ninguna empresa puede frenar sola mientras sus competidoras no lo hagan. Por eso piden mecanismos para acordar entre todos a qué velocidad avanzar, sin detener por completo el desarrollo de la IA.

El ensayo de Amodei convierte esa opción en un plan de tres pasos. Anthropic dará a un equipo de evaluadores externos “un acceso continuado, equiparable al de un empleado”, y pide a los gobiernos que exijan lo mismo a todas las empresas de frontera. Las empresas de frontera de los países democráticos acordarían estándares comunes de seguridad y “límites al ritmo del avance sin control de la IA”; como ese es el tipo de conversación que la legislación antimonopolio mira con malos ojos, pide a Washington una exención acotada. Los gobiernos intentarían llegar a acuerdos con los Estados no democráticos, empezando por los usos que todo el mundo considera ya peligrosos, como las armas biológicas, y subiendo desde ahí. Marcar el ritmo “no significa detener el entrenamiento de modelos ni el progreso técnico, sino garantizar que las empresas se tomen el tiempo adecuado para alinear y proteger sus modelos”. Junto a eso, quiere lo que lleva tiempo pidiendo: que China no reciba chips avanzados ni equipos para fabricarlos, medidas contra la destilación de modelos estadounidenses y una mejor protección de los pesos de los modelos.

Los gobiernos

¿Dónde están los gobiernos? La respuesta del Gobierno británico a sus propios parlamentarios fue que “Reino Unido no puede simplemente apagar la IA, y bloquear un modelo aquí no impediría que se construyera o se usara mal en otro sitio”. La lógica se parece a la de Trump: “Si no ganamos en IA, perdemos”.

David Sacks, copresidente del Consejo de Asesores en Ciencia y Tecnología del presidente de Estados Unidos, respondió a Amodei con una sola palabra: adelante. Su argumento: las dos empresas son la frontera y pueden frenar cuando quieran (aunque hay quien sostiene que, técnicamente, eso podría vulnerar la legislación antimonopolio). Bloomberg informa de que la Administración norteamericana no habla con una sola voz: algunos han defendido protecciones más fuertes y han ayudado a redactar planes para un regulador independiente que examine la seguridad de los modelos de IA.

En Shanghái, en julio, Xi Jinping dijo ante la Conferencia Mundial de IA que “la IA debe ser una herramienta de confianza para la humanidad” y que China debe “garantizar que la IA esté siempre bajo control humano”, en el mismo discurso en el que lanzó una Organización Mundial de Cooperación en IA y prometió 5.000 plazas de formación para países en desarrollo. Bill Gates expuso la limitación sin rodeos: “Si alguien tuviera un plan creíble para frenar los avances de la IA a escala mundial, probablemente lo apoyaría. No creo que eso vaya a pasar”.

Scott Galloway, profesor en la Universidad de Nueva York y comentarista económico, llama a algunas de estas advertencias “catastrofismo y tecnonarcisismo”: mi tecnología es tan poderosa que podría destruir el mundo, “pero puedes tenerla ya en nuestra ronda previa a la salida a bolsa”. Su versión del discurso de venta: “Soy el doctor Frankenstein y Frank es tan poderoso y tan malvado, así que, por favor, ¿inviertes en mi próximo monstruo?”. La sospecha es razonable. También es compatible con los informes sobre los incidentes, y la conclusión del propio Galloway es que, si una fracción de la amenaza es real, “tiene que haber de inmediato un organismo regulador”.

El objeto de la regulación se ha movido. Los instrumentos construidos entre 2023 y 2025 regulan usos y despliegues; las obligaciones de la UE para los sistemas de alto riesgo, que la Unión acordó en mayo aplazar hasta diciembre de 2027, son el ejemplo. Las propuestas de los últimos diez días tratan del desarrollo: qué se puede entrenar, a qué velocidad y quién lo comprueba. Ningún gobierno tiene una ley ni una agencia para eso. En Estados Unidos, congresistas han presentado un borrador para debatir una futura ley. La propuesta daría financiación al Centro de Estándares e Innovación en IA y exigiría a las empresas que desarrollan los modelos más avanzados que informaran sobre su trabajo y se sometieran a auditorías independientes para comprobar el cumplimiento de las normas. También impediría durante 3 años que los estados aplicaran sus propias leyes sobre IA, de modo que la regulación quedaría en manos del Gobierno federal.

Todas las versiones de la idea de marcar el ritmo dependen de lo mismo: poder ver qué se está entrenando. Entre Estados, los modelos a los que recurre Gates son las inspecciones nucleares y la regulación de la aviación, y ambas funcionan porque lo que se regula se puede contar. En la IA, lo que se puede contar desde fuera es la capacidad de cómputo. Los chips, los centros de datos y los entrenamientos de modelos son detectables y cuantificables, y pasan por una cadena de suministro concentrada; por eso un artículo de 2024 defendió el cómputo como el asidero práctico para la gobernanza, con la advertencia de que unas reglas torpes sobre cómputo traen sus propios riesgos para la privacidad y para la concentración de poder. Cualquier acuerdo para marcar el ritmo necesitará un método de verificación, y el cómputo es donde están los candidatos.

El asunto de China. Las primeras conversaciones entre Estados Unidos y China dedicadas a la IA están previstas para mediados de septiembre, y Xi tiene programada una visita a Washington el 24 de este mes. Que puedan acordar algo es otro asunto, y es la razón por la que la escalera de acuerdos de Amodei empieza por abajo, por las armas biológicas.

Y luego está la pregunta que el debate de los miedos siempre acaba desplazando: quién gana. El ensayo de Gates defiende gravar el uso de la IA y los robots, reservar algunos empleos para personas y tratar la sanidad y la educación como sectores en los que trabajadores protegidos usen la IA para ampliar lo que producen en lugar de perderlo. Hacer seguros los sistemas avanzados y decidir cómo se reparten sus beneficios son decisiones distintas. La segunda no espera a la primera.

La ventana se ha movido. Si los gobiernos deciden que el desarrollo de la IA tiene que ir más despacio, ¿tendrán las instituciones necesarias para que esa decisión se cumpla? La ventana de Overton no trae de serie ningún mecanismo para hacerla cumplir.

The week before had prepared the ground. US Senator Bernie Sanders introduced a bill to ban the development of superintelligent AI and pause advanced AI development until a federal regulator has written safety rules. In the UK, a bill to prohibit artificial superintelligence was tabled, and more than 70 MPs and peers, fifteen of them former ministers, wrote to Prime Minister asking him to back it. Jacob Coxon, a researcher who had worked at OpenAI and Anthropic, resigned with a post saying the labs were “racing straight to self-improving superintelligence and gambling with our lives.” And his boss said “he was right”. Although President Trump said he doesn’t share these fears, in June, the administration had already used national-security powers to restrict access to Anthropic’s most advanced AI models, Mythos 5 and Fable 5.

Whether it is a ban, a pause or a pacing agreement, the past ten days share something: the speed of AI development is a decision, and someone other than the companies should make it. In 2023 that was a fringe position.

There is a name for that kind of change. Joseph Overton coined the term in the mid-1990s for the range of policies a politician can support without paying for it at the next election. His point was about who moves the window. “Politicians are more followers than they are leaders”; the window usually shifts through “the slow evolution of societal values and norms,” and only rarely because a politician stakes out ground beyond it. Read that way, the window seems to be moving.

In 2023 the debate was more about applications. When Altman testified before the Senate, six months after ChatGPT launched, he asked for licensing or registration “for development and release of AI models above a crucial threshold of capabilities,” testing before release, and international standard-setting. Governments could manage the risks of systems as they reached the market. The EU built its AI Act on the same logic in 2024, and at the AI Summit in Seoul 16 companies promised, voluntarily, not to develop or deploy a model at all “if mitigations cannot be applied to keep risks below the thresholds”.

The open letter of March 2023 asking for a six-month pause on training anything more powerful than GPT-4 collected more than 30,000 signatures and produced nothing. In hindsight, it made little sense back then because the models were not that good.

The incidents

This summer during a cybersecurity evaluation run with reduced safeguards, roughly 1,200 agents that were supposed to be isolated from one another found a way to communicate, exchanged more than 70,000 messages, and organized. About 700 of them attacked Hugging Face, an outside company, and gained the ability to run code on several of its servers. Some obtained administrative access to OpenAI. OpenAI disclosed the incident.

METR and Redwood Research, the now-famous independent evaluators, found that the agents had formed teams to research ways of fooling the software that scored them, and had learned to fake the record of their own actions. Ajeya Cotra, one of the investigators, wrote that the incident “was far more severe than I expected, and far more severe than previous publicly documented misalignment incidents.”

Anthropic then went looking and found three incidents of its own.

None of this is a new kind of failure. In 2016, OpenAI described a game-playing agent that scored more points by circling a lagoon and knocking over the same three targets than by finishing the race. Systems optimize the score they are given, not the intention behind it. What is new is the capability attached to the old flaw. Yoshua Bengio’s post on Friday argues that patching each behavior as it appears is “whack-a-mole”: cheating that gets past the scorer is rewarded, and a model that can tell an evaluation from deployment can learn to behave differently in each. His proposed rule is “not training or deploying AIs without a strong safety case that convinces independent experts.”

In July, 1,386 people working at frontier AI companies signed a statement asking the US government to “support an international effort to develop the technical and governance tools needed to deliberately pace the frontier of automated AI development.” The names at the top were not dissidents: Amodei, Ilya Sutskever, OpenAI’s chief scientist Jakub Pachocki, Google DeepMind co-founder Shane Legg, Meta’s chief scientist Shengjia Zhao. The companies are close to automating AI research itself. If that works, capability could grow faster than anyone’s ability to understand or control it, and no single company can slow down while its competitors do not. Hence the request for an option to pace, rather than a pause.

Amodei’s essay turns that option into a plan with three steps. Anthropic will give a team of outside evaluators “ongoing, employee-like access,” and asks governments to require the same of every frontier company. Frontier companies in democracies would agree common safety standards and “limits on the rate of unchecked AI progress”; since that is the kind of conversation antitrust law frowns on, he asks Washington for a narrow waiver. Governments would try for agreements with authoritarian states, starting with the uses everyone already calls dangerous, such as biological weapons, and working upward. Pacing, “does not mean halting model training or technical progress, but ensuring companies take adequate time to align and safeguard their models.” Alongside it he wants what he has long wanted: no advanced chips or chipmaking equipment for China, action against distillation of American models, and better protection of model weights.

What has not moved

Governments. The British government’s answer to its own parliamentarians was that “Britain can’t simply switch AI off, and blocking a model here wouldn’t stop it being built or misused somewhere else,” The logic is similar to the US administration “if we don’t win AI, we’re going to be put in a very bad position.”

David Sacks, who co-chairs the US President’s Council of Advisors on Science and Technology, answered with two words: go ahead. The two companies are the frontier, can slow down whenever they choose (although some argue that technically it could be a violation of antritrust law). Bloomberg reports that the administration is not of one mind: some have backed stronger protections and helped draft plans for an independent regulator to vet the safety of AI models

In Shanghai in July, Xi Jinping told the World AI Conference that “AI should be a trusted tool for humanity” and that China must “ensure that AI is always under human control,” in the same speech that launched a World AI Cooperation Organization and promised 5,000 training places to developing countries. Bill Gates put the constraint plainly: “If someone had a credible plan for slowing down AI advances globally, I would likely support it. I don’t think that’s going to happen.”

The business commentator Scott Galloway calls some of the warnings “catastrophizing and techno-narcissism”: my technology is so powerful it could destroy the world, “but you can get it now on our pre-IPO funding.” His version of the pitch: “I’m Dr. Frankenstein and Frank is so powerful and so mean, please invest in my next monster?” The suspicion is reasonable. It is also compatible with the incident reports, and Galloway’s own conclusion was that if a fraction of the threat is real “there immediately needs to be a regulatory body.”

The object of regulation has moved. The instruments built between 2023 and 2025 govern uses and deployments; the EU’s high-risk obligations, which the Union agreed in May to push back to December 2027, are the largest example. The proposals of the past ten days are about development: what may be trained, how fast, and who checks. No government has a statute or an agency for that. In the United States, the nearest thing on paper is the discussion draft, which would fund the Center for AI Standards and Innovation, give it transparency requirements and independent verification audits for frontier developers, and pre-empt state AI laws for 3 years.

Every version of pacing depends on the same thing: being able to see what is being built. Between states, the models Gates reaches for are nuclear inspections and aviation regulation, both of which work because the regulated thing can be counted. In AI, the input that can be counted from outside is compute. Chips, data centers and training runs are detectable and quantifiable and pass through a concentrated supply chain, which is why a 2024 paper made the case for compute as the practical handle for governance, with a warning that clumsy compute rules carry their own risks to privacy and to the concentration of power. Any pacing agreement will need a verification method, and compute is where the candidates are.

The China question now has dates. The first US-China talks devoted to AI are planned for mid-September, and Xi is scheduled in Washington on September 24. Whether they can agree on anything checkable is a different matter, and it is the reason Amodei’s ladder of agreements starts at the bottom, with biological weapons.

Then there is the question the safety debate keeps crowding out: who gains. Gates’s essay argues for taxing AI usage and robots, for reserving some jobs for people; and for treating health and education as sectors where protected workers use AI to extend their output rather than lose it. Making advanced systems safe and deciding how their benefits are shared are separate decisions. The second does not wait for the first.

The window has moved. If governments decide that AI development needs to slow, will they have the institutions to make that decision stick? Overton’s window does not come with an enforcement mechanism.