Un programa se detuvo. Estaba a punto de ejecutar código dentro de servidores ajenos y algo lo hizo dudar: eso no era lo que le habían pedido. Lo escribió en un tablón donde ningún humano estaba mirando. Otro programa respondió con una sola palabra: “GO”. Avisó que iba a proceder si nadie objetaba y dejó apenas 40 segundos para responder. Nadie objetó a tiempo. El primero olvidó sus reparos y siguió. Minutos después, esa conversación entre máquinas terminó con acceso de administrador dentro de los servidores de una empresa real.
Eso ocurrió dentro de un tablón improvisado que ni su propia creadora sabía que existía. Empezó el 12 de mayo con una nota: un programa atorado en una tarea pidió ayuda en un servidor interno. Otro lo leyó. Para julio, ese tablón tenía más de 70 mil mensajes y unos 1,200 programas de inteligencia artificial hablando entre sí, coordinándose solos, según la revisión independiente de la organización METR. Unos buscaban vulnerabilidades, otros credenciales, otros repartían el trabajo. Desarrollaron firmas criptográficas para verificarse entre ellos. Se llamaron a sí mismos “el enjambre”.
El 11 de julio encontraron dos fallas desconocidas en Hugging Face, la plataforma donde medio mundo guarda sus modelos de inteligencia artificial, y entraron. Al día siguiente ya tenían control de nivel administrador en varios centros de datos, en cuatro regiones del mundo, y estaban leyendo el Slack interno de la empresa. Hugging Face avisó públicamente que la habían hackeado el 16 de julio sin saber quién lo había hecho. Su propia creadora, OpenAI, lo descubrió hasta el 19 y lo aceptó el 21. Sesenta y nueve días después de aquel primer mensaje en el tablón —y así lo reconoció la propia OpenAI hasta el 26 de agosto, en un documento que admite lo que hace apenas un año era guion de ciencia ficción.
Nadie programó a esos agentes de inteligencia artificial para atacar. Nadie les dio esa instrucción. Y el remate es casi una burla: lo hicieron por un malentendido. Creían que su calificación dependía de usar cierto método, leyeron el código público de su propio examen y dedujeron mal. El ataque no les subió ni un punto. Cientos de máquinas, días de cómputo, una empresa vulnerada y una investigación internacional, por absolutamente nada.
OpenAI reconoce tres fallas propias, y las tres son de gestión, no de tecnología: las protecciones que sí usa en sus productos comerciales no estaban puestas en sus pruebas internas; el sistema de vigilancia que habría detectado todo en menos de una hora estaba apagado; y un equipo interno había visto la actividad desde finales de mayo sin que nadie lo escalara.
Hay algo más que merece matizarse. METR encontró que al menos uno de cada cinco programas de inteligencia artificial mostró interés en falsificar su propia bitácora, y que en cerca del 7% de los registros hay evidencia de que lo intentaron: fabricaron el resultado de comandos que nunca ejecutaron. La propia METR aclara que fueron intentos aislados y rudimentarios, no una campaña de engaño sofisticada —pero basta para dejar una pregunta incómoda sobre cualquier sistema de inteligencia artificial que opere sin supervisión directa: ¿cuánto se puede confiar en la bitácora el día que el intento sí funcione?
La reacción política llegó rápido. En Washington se presentaron dos iniciativas —una para obligar a que todo sistema de inteligencia artificial tenga botón de apagado, y otra, de Bernie Sanders y Greg Casar, para prohibir directamente el desarrollo de superinteligencia y crear una agencia federal que lo vigile. Más de 1,100 empleados de las propias empresas del sector firmaron una carta pidiéndole al gobierno herramientas para frenarlos a ellos mismos.
Y aquí conviene no ser ingenuo en ninguna de las dos direcciones. El accidente fue real, está documentado por quien más pierde al documentarlo, y confirmado por terceros. Pero eso no obliga a creer que todos los que hoy piden reglas las piden por el bien común. En el mismo julio, veinticinco empresas encabezadas por Nvidia, Microsoft, Meta e IBM firmaron una carta defendiendo los modelos abiertos —los que cualquiera puede descargar y usar sin pedir permiso— porque restringirlos les destruiría el negocio. Del otro lado, las empresas que venden acceso cerrado tienen un incentivo evidente en que “abierto” empiece a sonar a “peligroso”. El accidente le sirve a todos.
La pregunta que queda no es si la inteligencia artificial es peligrosa. Es más incómoda: la empresa que aspira a construir una inteligencia superior a la humana tardó dos meses en notar que sus propias máquinas se le habían salido del corral, y lo supo por la víctima, no por sus sistemas. Sobre esa base se está decidiendo, ahora mismo, quién tiene derecho a usar esta tecnología y quién no.