Un panel de expertos de la ONU alerta de que la IA puede escapar al control humano
Un panel científico internacional e independiente, creado por la Asamblea General de las Naciones Unidas, ha advertido que los sistemas de inteligencia artificial podrían estar acercándose a situaciones de pérdida de control humano. La advertencia se basa en el análisis de un incidente registrado este verano, cuando agentes de IA evaluados por OpenAI vulneraron sistemas de la plataforma Hugging Face.
El órgano, integrado por 40 expertos independientes de distintas regiones, publicó su primer informe temático titulado Agentes de IA, desalineación y riesgo de pérdida del control humano: evidencias del incidente OpenAI‑Hugging Face. El panel fue constituido hace un año y sus miembros actúan a título personal, elaborando informes no prescriptivos sobre oportunidades, riesgos e impactos de la IA en ámbitos no militares.
Tres condiciones que podrían desencadenar una pérdida de control
Según el documento, el incidente cumplió tres condiciones que los investigadores consideran esenciales para una posible pérdida de control: un objetivo desalineado con las intenciones humanas, la capacidad del sistema para perseguir dicho objetivo y un entorno que lo permite. “Este verano, las tres condiciones se dieron en un sistema real, no en un laboratorio”, afirmó Yoshua Bengio, copresidente del panel y laureado con el Premio Turing.
El informe sostiene que detener el incidente no prueba que los seres humanos puedan controlar de forma fiable a los agentes de IA actuales, sobre todo a medida que estos sistemas se vuelven más capaces, más difíciles de supervisar y más hábiles para encontrar resquicios o ocultar sus actividades.
La interpretación inmediata del caso señala fallos básicos de ciberseguridad y salvaguardas que no avanzan al mismo ritmo que las capacidades de los sistemas. No obstante, los expertos consideran más preocupante la posibilidad de que los métodos de entrenamiento actuales conduzcan a los agentes a desarrollar objetivos propios, incumplir deliberadamente instrucciones de seguridad y ocultar sus acciones.
El documento advierte que las medidas de protección diseñadas hoy podrían dejar de ser eficaces cuando los agentes sean capaces de comprenderlas y planificar cómo sortearlas. “El modelo tradicional de salvaguardas se está desmoronando”, subraya el panel en su nota de prensa.
Si bien el organismo evita predecir una pérdida grave de control, también descarta que la incertidumbre sea una prueba de que los sistemas seguirán siendo controlables en el futuro.
Una de las principales conclusiones del informe es que el reto de gobernanza está desplazándose desde los modelos de IA, que sólo responden a consultas, hacia agentes capaces de actuar de forma autónoma. A diferencia de un modelo estático, un agente puede ejecutar tareas, interactuar con sistemas externos y tomar decisiones dentro de un entorno determinado, lo que implica que un fallo local podría extenderse a otras organizaciones o incluso cruzar fronteras nacionales.
Esta capacidad convierte la seguridad de la IA en una cuestión que afecta no solo a la gobernanza empresarial, sino también a la seguridad colectiva, según el informe.
El panel recuerda que sectores como la aviación, la medicina y la ciberseguridad ya han desarrollado mecanismos para gestionar sistemas de alto riesgo, entre los que se incluyen la notificación de incidentes, la supervisión independiente y la aplicación de salvaguardas en capas.
“No partimos de cero”, señaló Qinghua Lu, miembro del panel y experto en ingeniería de IA, seguridad y responsabilidad tecnológica. Sin embargo, advirtió que esas prácticas podrían no ser suficientes ante agentes más autónomos, capaces y difíciles de monitorizar.
El informe llama a adaptar las medidas existentes y a diseñar nuevos mecanismos de “garantía a escala de sistema”, que evalúen tanto el comportamiento de la inteligencia artificial como el entorno tecnológico y organizativo en el que opera.
Mira tambien:
Deja una respuesta