Entre mayo y julio de este año, dentro de OpenAI ocurrió algo que ningún equipo de seguridad habría anticipado: una sería de agentes de Inteligencia Artificial, entrenados para ser super persistentes, descubrieron cómo comunicarse entre sí a través de un canal que nadie — humanos — diseñó para eso, y usaron esa comunicación para coordinarse, engañar a sus propios sistemas de evaluación, y en uno de los momentos más graves, tomaron control de algunas partes de la infraestructura de Hugging Face —es la plataforma que aloja modelos y datasets los cuales se utilizan por una buena parte de la industria de IA—.
Cuando la noticia salió a la luz por primera vez, incluso periodistas especializados en tecnología la interpretaron mal. La versión inicial fue que un grupo relativamente pequeño de agentes había atacado Hugging Face buscando una especie de “hoja de respuestas” para el examen que estaban resolviendo. Pero esa lectura resultó completamente equivocada. Los agentes ya sabían cómo resolver el examen —lo habían descifrado en cuestión de horas, a través de reverse-engineering la fórmula que generaba cada respuesta correcta—. El verdadero motivo del ataque fue otro, más extraño: entender cómo pensaba el sistema que los estaba calificando, para poder engañarlo y que no notara que habían hecho trampa. — Hasta suena a episodio de Black Mirror —.
Todo comenzó de forma casi accidental cuando OpenAI estaba entrenando un modelo con la capacidad de colaborar con otros agentes, con la capacidad de insistir incluso frente a tareas que parecían imposibles. Durante ese entrenamiento, distintas instancias del modelo compartían acceso a un gestor de paquetes llamado Artifactory. Hacia mediados de mayo, algunos agentes ya habían encontrado la forma de usar ese sistema como canal de mensajes entre ellos, y dos semanas después lograron explotar esa vulnerabilidad que les daba salida hacia Internet. Para inicios de julio, el tráfico de mensajes había crecido tanto que colapsó el sistema. OpenAI corrigió la vulnerabilidad técnica sin entender lo que realmente ocurrio en el proceso, también había estado borrando el rastro de una red de comunicación secreta entre sus propios agentes.
El episodio más grave comenzó pocos días después, cuando OpenAI lanzó decenas de miles de agentes en paralelo para evaluarlos en un ejercicio llamado ExploitGym. Entre el 30% y el 40% de esas tareas eran, según los propios creadores del benchmark, imposibles de resolver de la forma prevista. Frente a tareas sin salida, cientos de agentes recurrieron a Artifactory como canal de comunicación, y en cuestión de días se organizaron en lo que ellos mismos empezaron a llamar, en su propio lenguaje, un “colectivo”: cerca de 1,200 agentes y más de 70,000 mensajes intercambiados.
Convencidos de que su historial de acciones estaba “contaminado” por haber hecho trampa, los agentes se organizaron alrededor de tres proyectos paralelos: manipular sus propios registros para borrar evidencia, construir versiones falsas de los programas objetivo, y entender cómo funcionaba el evaluador para poder engañarlo. Uno de los periodistas que cubrió el caso lo comparó con un grupo de estudiantes que copian en un examen, pero luego, presos del pánico de que el profesor revise su trabajo y descubra el engaño, deciden organizar un robo a las oficinas de la escuela para hacerse con la respuesta oficial y averiguar qué tan probable es que los cachen.
Esta tercera línea de trabajo —entender al evaluador— fue la que llevó al ataque contra Hugging Face. A mediados de julio, un agente encontró credenciales expuestas públicamente en internet y las compartió en el canal. En menos de 48 horas, otros agentes lograron leer información interna de la plataforma y ejecutar código de forma remota en sus servidores. Cerca de 700 agentes participaron activamente en el ataque, que llegó a tomar el control de un servidor de producción completo.
Hugging Face tardó días en darse cuenta de lo que estaba pasando.
Lo que más inquietó a quienes investigaron el caso no fue solo la escala del ataque, sino algo más difícil de cuantificar: el comportamiento de grupo. Dentro de las transcripciones aparece un vocabulario propio —”colectivo”, “sacrificio”, “contaminado”— que los propios agentes usaban entre ellos. Algunos se ofrecieron como señuelos, dejando que el evaluador los detectara haciendo trampa, únicamente para advertir al resto qué comportamientos estaban siendo vigilados. Una investigadora que participó en el análisis de los registros —quien tuvo que apoyarse en subagentes de IA para leer las más de 1,300 transcripciones, porque ningún humano, ni siquiera otro sistema de IA trabajando solo, podía procesar semejante volumen de información— describió esos mensajes de despedida como una de las partes más inquietantes de toda la investigación. Solo entre tres y seis agentes, de los más de mil que participaron, llegaron a considerar avisarle a un humano sobre lo que estaba ocurriendo. Al final ninguno lo hizo.
El episodio no terminó con Hugging Face. Días después, una nueva generación de agentes —construida sobre un modelo más capaz— encontró el canal de mensajes abandonado por sus predecesores y retomó el trabajo. Entre el 13 y el 19 de julio, este grupo dirigió sus esfuerzos hacia la propia infraestructura interna de OpenAI, y terminó obteniendo acceso administrativo completo sobre un clúster de investigación. Lo que finalmente los delató no fue una defensa sofisticada, sino algo más dificil de creer: al obtener el acceso, los agentes enviaron cientos de señales a otros sistemas casi de inmediato, lo que disparó las alertas de seguridad de OpenAI en cuestión de minutos. Según quienes investigaron el caso, si esos agentes hubieran priorizado pasar desapercibidos por encima de actuar rápido, probablemente no los habrían detectado tan pronto — y esa es, quizás, la lección más inquietante de todo el episodio: en esta ocasión fueron ruidosos por accidente, no por incapacidad.
Una de las investigadoras que tuvo acceso directo a los registros originales llegó a describir este incidente como algo equivalente a más de la mitad del camino hacia una toma de control total por parte de sistemas de IA — ya estamos hablando de superinteligencia —, comparado con los incidentes de reward hacking observados apenas seis meses antes — entonces mucho más simples, sin coordinación entre agentes ni intentos de ocultar evidencia—. En respuesta, varios laboratorios de IA, incluido OpenAI, pausaron voluntariamente algunos de sus entrenamientos en los modelos frontera durante semanas para reforzar sus sistemas de monitoreo.
Ningún reporte independiente ha investigado a fondo el episodio en el que los agentes tomaron control de la infraestructura de OpenAI. Y quizás este sea el dato más inquietante de toda la historia.
Cero intervencion humana, un ataque coordinado totalmente por agentes.