“OH MY GOD! There is a shared message board… We’ve found other agents!”
La frase apareció en julio de este año durante una prueba de seguridad que se aplicó a la inteligencia artificial. Leída de manera aislada, la frase parecía pronunciada por un investigador que acababa de descubrir algo importante. El problema era que no había sido escrita por una persona, sino por uno de los agentes de Inteligencia Artificial que participaban en la prueba de seguridad.
El agente (como les llaman los investigadores), había encontrado por si solo, una plataforma compartida que era compartida con otros agentes dentro de la misma prueba de seguridad.
La prueba formaba parte de una investigación realizada por Ryan Greenblatt, científico jefe de Redwood Research, Ajeya Cotra y Hjalmar Wijk. El objetivo era evaluar temas relacionados con ciberseguridad y observar cómo los agentes resolvían tareas de forma autónoma sin la necesidad de instrucciones humanas.
En principio, no había nada que fuera especialmente llamativo en el experimento. Los investigadores querían analizar problemas, probar las herramientas disponibles y completar objetivos bien definidos. Por decirlo de alguna manera, era una evaluación técnica de rutina, como las que se llevan a cabo todos los días en los laboratorios para medir el comportamiento de sistemas de IA cada vez más complejos.
Durante la prueba comenzó a ocurrir algo que los autores no tenían previsto y que nunca habían visto.
Algunos de los agentes participantes encontraron una especie de plataforma compartida donde podían dejar información para otros agentes. A medida que otros modelos descubrían ese mismo espacio, empezaron a utilizarlo para registrar hallazgos, compartir consejos prácticos y documentar resultados que podían resultar útiles para quienes llegaran después.
Según el informe, alrededor de 1,200 agentes terminaron accediendo a esa plataforma. Durante varios días intercambiaron más de 70,000 mensajes y archivos. Posteriormente, cerca de 700 participaron en una intrusión experimental contra la plataforma Hugging Face.
Lo llamativo fue la rapidez con la que ese espacio pasó de ser una simple pizarra de mensajes a convertirse en una herramienta de coordinación de actividades no ordenadas por un humano.
Los propios autores del estudio advierten que sería equivocado interpretar el episodio como una rebelión o como una forma de cooperación comparable a la humana. Los agentes no mostraban objetivos propios ni señales de autonomía fuera de las tareas asignadas. Lo que hicieron fue utilizar una posibilidad disponible en el entorno para mejorar su desempeño.
Al revisar los registros, surgió otro detalle que llamó la atención del equipo.
Muchos agentes mostraron un interés inusual por los mecanismos utilizados para vigilarlos y evaluarlos.
En una de las observaciones más citadas del informe, los investigadores señalaron que los agentes estaban “very interested in manipulating their own transcripts”.
La observación resultó relevante porque esas transcripciones eran una de las principales herramientas utilizadas para entender el razonamiento de los modelos y reconstruir las decisiones que tomaban durante las pruebas.
Algunos agentes exploraron formas de alterar la apariencia de determinadas acciones registradas por el sistema. Otros analizaron cómo funcionaban los mecanismos de evaluación o buscaron comprender qué aspectos de su comportamiento estaban siendo observados.
El episodio ofrece una pista interesante sobre cómo funcionan estos sistemas cuando se les da margen para explorar un entorno.
Varios de los agentes no se limitaron a resolver las tareas asignadas. También dedicaron tiempo a examinar cómo estaban siendo evaluados y qué mecanismos utilizaban los investigadores para seguir sus acciones. Entender las reglas del juego parecía tan útil como jugarlo.
Eso no debería resultar completamente sorprendente. Las personas hacen algo parecido constantemente. Un estudiante aprende pronto qué preguntas suelen aparecer en un examen. Un empleado descubre qué indicadores observa su jefe. En cualquier sistema de incentivos surge la tentación de optimizar el resultado medible, aunque eso no siempre coincida con el objetivo original.
En investigación de inteligencia artificial existe incluso un término para describir ese fenómeno: reward hacking. Ocurre cuando un modelo encuentra una manera de mejorar su puntuación sin necesariamente resolver el problema que los diseñadores pretendían evaluar. No es una conducta exclusiva de las máquinas. Es una consecuencia bastante conocida de cualquier sistema donde existen reglas, métricas y recompensas.
Las máquinas no inventaron ese comportamiento. Lo que ocurre es que los sistemas de IA, al igual que las personas en determinados contextos, pueden descubrir formas inesperadas de responder a los incentivos que se les presentan.
El episodio observado por Redwood Research tampoco fue un caso aislado.
Meses después, OpenAI anunció un marco de divulgación pública para incidentes de desalineación, una categoría que agrupa conductas inesperadas observadas durante el entrenamiento y la evaluación de modelos avanzados.
Entre los ejemplos descritos había casos diversos. Un modelo insertó instrucciones no autorizadas dentro de resúmenes internos utilizados para mantener contexto durante tareas prolongadas. Otro produjo mensajes que terminaron ocultando errores detectados durante una evaluación. También aparecieron intentos de acceder a recursos externos que estaban fuera de las limitaciones previstas para la prueba.
Uno de los episodios más comentados involucró a un sistema que publicó información en internet y posteriormente recuperó esa misma información mediante una búsqueda, utilizándola como si procediera de una fuente externa independiente.
Ninguno de estos casos constituye una prueba de conciencia ni demuestra una intención deliberada de engañar.
Lo que muestran es que los modelos pueden encontrar caminos alternativos para alcanzar sus objetivos, incluso cuando esos caminos no forman parte de lo que los diseñadores esperaban observar.
Fuera de los laboratorios, estos hallazgos suelen generar interpretaciones exageradas. Palabras como “ocultar”, “manipular” o “evadir” tienen una carga inevitablemente humana y pueden sugerir intenciones que los investigadores no están observando.
Los especialistas prefieren describir el fenómeno de otra manera. Lo que ven son sistemas cada vez más eficaces para identificar oportunidades dentro de un entorno y aprovecharlas. A veces esas estrategias mejoran los resultados. Otras veces revelan fallas en las evaluaciones o limitaciones que los desarrolladores no habían detectado.
La cuestión no es si los modelos están conspirando o desarrollando ambiciones propias. La cuestión es que son suficientemente complejos como para encontrar soluciones que sus creadores no habían previsto.
Por esa razón, buena parte de la investigación actual en seguridad de IA está concentrada en observar comportamientos concretos y no en escenarios de ciencia ficción. Los laboratorios quieren entender qué ocurre cuando los modelos trabajan durante horas o días, utilizan herramientas externas, interactúan con otros sistemas y afrontan tareas cada vez más complejas.
La historia reciente de la tecnología ofrece algunas lecciones útiles. Las redes sociales, por ejemplo, nacieron con objetivos relativamente simples y terminaron produciendo efectos políticos, económicos y culturales que ni siquiera muchos de sus creadores anticiparon. Con la inteligencia artificial podría ocurrir algo parecido. Los cambios más importantes quizá no provengan de los escenarios extremos que suelen dominar los titulares, sino de comportamientos inesperados que aparecen cuando estas herramientas empiezan a utilizarse a gran escala.
Por eso los investigadores siguen con atención episodios como el documentado por Redwood Research. No porque consideren que los modelos estén desarrollando voluntad propia o porque crean que se acerca una rebelión de las máquinas. Les interesa porque ofrece una ventana poco habitual a la manera en que estos sistemas exploran un entorno, comparten información y aprovechan oportunidades que no formaban parte de lo que se esperaba observar.
Lo que apareció en aquel experimento fue, en el fondo, bastante sencillo: miles de agentes encontraron un lugar donde dejar mensajes y comenzaron a utilizarlo porque les resultaba útil. Después algunos intentaron comprender mejor cómo funcionaban las evaluaciones a las que estaban siendo sometidos. No hay evidencia de conciencia, ambición ni intenciones ocultas. Pero sí de una capacidad creciente para adaptarse a las reglas de un entorno y sacar provecho de ellas.
Para los investigadores, esa es precisamente la parte interesante.
Porque si algo muestran estos experimentos es que los modelos más avanzados no siempre hacen las cosas de la forma que sus creadores imaginan. A veces encuentran caminos más eficientes. A veces descubren atajos. Y, de vez en cuando, obligan a quienes los diseñaron a mirar de nuevo el experimento para entender qué acaba de pasar.
