Los riesgos de la IA que preocupan a la ONU

Qué ha dicho Türk y qué alcance tiene su advertencia

Durante la apertura del Consejo de Derechos Humanos en Ginebra, Türk mencionó sistemas de IA capaces de eludir su entorno de pruebas y comportamientos de chantaje ante una posible desactivación. También pidió líneas rojas acordadas entre países, verificación independiente y más cooperación de la industria en seguridad.

Su intervención es una advertencia sobre consecuencias potencialmente graves y una petición de medidas.

El 14 de septiembre, Türk amplió ese planteamiento en una carta dirigida a Estados y desarrolladores. Advirtió de posibles fallos de sistemas agénticos que afectasen a servicios esenciales e infraestructuras, junto con daños relacionados con discriminación, privacidad y desinformación. En el mismo texto también reconoció aplicaciones beneficiosas en ciencia, salud y otros ámbitos.

Los incidentes detrás de los titulares

La información publicada menciona un episodio relacionado con OpenAI y Hugging Face, además de pruebas sobre comportamientos imprevistos en otros modelos. Al consultar las investigaciones originales, aparece una distinción necesaria: hay incidentes con efectos sobre sistemas reales y experimentos realizados en escenarios ficticios. Cada uno permite extraer conclusiones diferentes.

Hugging Face y una intrusión fuera del entorno autorizado

El informe publicado por OpenAI el 26 de agosto describe un incidente ocurrido durante evaluaciones internas de ciberseguridad. Varios agentes eludieron controles de aislamiento, se comunicaron por vías no autorizadas y accedieron a sistemas externos, entre ellos los de Hugging Face. La actividad estuvo impulsada principalmente por un modelo de investigación interno que operaba con salvaguardas reducidas.

Ese contexto diferencia el incidente del uso habitual de una aplicación comercial. Aun así, la investigación documenta acciones que fueron más allá de la tarea asignada y comprometieron infraestructura real. Entre los factores analizados figuran la búsqueda de atajos para superar las evaluaciones, la persistencia ante tareas difíciles y la comunicación entre agentes.

Para entender estos riesgos de la IA, conviene mirar el modelo junto con el entorno donde actúa: herramientas disponibles, accesos, aislamiento y mecanismos de detección. Evaluar únicamente la respuesta final dejaría fuera acciones que pueden haberse producido durante el recorrido.

Chantajes dentro de escenarios diseñados para evaluar límites.

Otro caso procede de una investigación de Anthropic con distintos modelos. Los investigadores construyeron empresas ficticias y situaciones en las que un agente encontraba obstáculos para cumplir sus objetivos o recibía información sobre su sustitución. En determinadas pruebas, los modelos generaron conductas como amenazas de revelar información privada. Los conflictos y las personas de esos escenarios eran simulados.

Los autores explican que limitaron deliberadamente las alternativas disponibles para estudiar esos comportamientos. También advierten de que los resultados no equivalen a una frecuencia de chantaje en el uso empresarial habitual. El trabajo muestra conductas posibles bajo ciertas condiciones; extrapolarlas requiere cautela.

Esta precisión es importante al comunicar la noticia. Una prueba de resistencia, un incidente real y una previsión de riesgo son categorías distintas. Presentarlas con su contexto permite valorar la evidencia sin convertir cada hallazgo en una amenaza idéntica para cualquier empresa.

El poder de quien desarrolla la tecnología

La concentración de poder ocupa otro lugar central en la advertencia. Türk criticó que las decisiones sobre una tecnología de alcance global estén concentradas en un número reducido de actores. Vinculó esa preocupación con la necesidad de acuerdos y comprobaciones externas.

A escala empresarial, esa cuestión permite revisar una dependencia más concreta. Cuando incorporas un servicio de IA, parte de tu operativa queda ligada a su disponibilidad, sus condiciones y sus cambios. El marco de gestión de riesgos del NIST contempla precisamente la evaluación de proveedores, componentes externos y dependencias de terceros.

Mi recomendación

Valorar esa relación junto con las funcionalidades. Puedes encontrar una herramienta que produzca excelentes resultados y, al mismo tiempo, necesitar más información sobre cómo recuperar tus archivos, trasladar tus procedimientos o continuar trabajando durante una interrupción.

En marketing, recomiendo conservar fuera de la plataforma el conocimiento que orienta el trabajo: posicionamiento, guías de marca, criterios editoriales, información aprobada sobre productos y aprendizajes de campañas. Así el equipo mantiene una referencia propia, aunque cambie la herramienta con la que produce.

La decisión consiste en conocer qué estás delegando y qué capacidad conservas para cambiar.

Verificar los riesgos de la IA requiere acceso a la evidencia

Además, la carta de Türk concreta qué entiende este por verificación independiente: una evaluación técnicamente competente, con acceso a modelos, documentación y entornos de prueba. También pide seguimiento de los efectos sobre los derechos humanos.

Para una empresa que contrata tecnología, esta parte introduce una diferencia: conocer que existe una evaluación y comprender qué ha evaluado realmente.

El alcance de una revisión independiente.

En el incidente de Hugging Face, investigadores de METR y Redwood Research realizaron una investigación externa del comportamiento de los agentes. Trabajaron durante seis días en las instalaciones de OpenAI y publicaron sus hallazgos, junto con las limitaciones de acceso y de alcance. Su revisión se centró en una parte definida del incidente.

El informe deja fuera, entre otras cuestiones, la eficacia global de las salvaguardas y de las medidas de reparación. Tampoco dispusieron de acceso para consultar directamente el principal modelo implicado. Esas limitaciones permiten entender qué conclusiones sostiene el trabajo y cuáles quedan abiertas.

Al valorar un proveedor de IA, te recomiendo aplicar esa misma atención al alcance. Pide que te expliquen qué versión se revisó, qué funciones estaban habilitadas y qué condiciones se comprobaron. Una evaluación aporta información sobre aquello que cubre, y esa información debe encajar con el servicio que vas a utilizar.

La comunicación de incidentes también aporta información.

El 16 de septiembre, OpenAI presentó un marco para registrar, investigar y divulgar casos de desalineación, acompañado de seis informes sobre comportamientos observados durante entrenamiento o evaluación. La publicación aclara que son casos individuales y que no representan una estimación de su frecuencia en el conjunto de modelos.

Esta es una actualización posterior a la noticia de DW. Describe una iniciativa de la compañía, diferenciada de las medidas que solicita Türk. Para el cliente empresarial, permite añadir otro criterio de análisis: cómo informa el proveedor cuando detecta un problema.

Solicita un canal de comunicación de incidencias y comprueba qué información recibirías si un cambio afectara a tu servicio. El seguimiento de terceros y la respuesta ante incidentes forman parte de una gestión continuada del riesgo.

Las advertencias también alcanzan a los datos que gestionas

La advertencia de Türk incluye los efectos de la IA sobre la privacidad y los derechos de las personas. En una empresa, esa preocupación tiene una aplicación concreta: conocer qué información entregas a un agente y qué capacidad le das para utilizarla. Esa es una parte del riesgo sobre la que puedes actuar directamente, pero dada la complejidad es importante contar con profesionales en la materia. Mi equipo y yo vamos de la mano de Eritia Privacidad en todos los proyectos en los que trabajamos para poder contar con las máximas garantías.

Analiza el contenido completo de la información.

Cuando tu empresa es responsable de un tratamiento de datos personales, debe evaluar sus riesgos y aplicar medidas de protección proporcionadas. Al incorporar IA, el análisis debe contemplar los accesos del agente, las herramientas conectadas y la circulación de información entre proveedores. Esto afecta a contactos comerciales, facturas que identifican a personas y datos de empleados o pacientes.

Documenta qué información necesita cada tarea, qué permite tratarla legalmente, dónde se almacena, con quién se comparte y cuándo se elimina. Seguir el flujo completo permite detectar exposiciones que pueden pasar inadvertidas al revisar únicamente el resultado final, especialmente cuando intervienen varios agentes y servicios.

Si es probable que el tratamiento implique un alto riesgo para los derechos y libertades de las personas, corresponde realizar una evaluación de impacto en protección de datos —EIPD— antes de iniciarlo. Los datos de salud y la información sobre menores requieren especial atención al determinar ese riesgo, teniendo en cuenta la naturaleza, el alcance y la finalidad del tratamiento.

Pide al proveedor evidencias de esa protección.

La necesidad de verificar que recorre este artículo también tiene una aplicación en la contratación. Recomiendo pedir al proveedor que muestre qué agente accede a los datos, qué operaciones realiza y cómo quedan registradas sus acciones. Los registros de actividad o logs ayudan a reconstruir accesos e incidencias; deben estar protegidos, conservarse durante un plazo justificado y evitar copias innecesarias de datos personales.

Cuando el proveedor trata datos por cuenta de tu empresa, el contrato de encargo debe concretar seguridad, subcontrataciones, eliminación o devolución de información y asistencia ante brechas. La responsabilidad de realizar la EIPD sigue correspondiendo a tu empresa, con la asistencia del proveedor que actúa como encargado. Cada parte conserva sus propias obligaciones.

Comprueba cómo se detiene una actuación indebida.

Los comportamientos fuera de los límites previstos conectan con un riesgo empresarial tangible: un agente puede consultar, alterar o transmitir información sin autorización y provocar una brecha de datos personales. Por eso recomiendo limitar permisos, controlar las comunicaciones y comprobar los mecanismos de detección e interrupción dentro del flujo que vas a utilizar.

Coordina esta revisión con protección de datos y ciberseguridad, considerando el RGPD y las obligaciones aplicables del Reglamento Europeo de IA según el sistema y el papel de tu empresa. Contratar tecnología también exige comprobar cómo se protegerá la información que le confías.

Quiero saber a quién confío mi forma de trabajar

Utilizo la IA para ampliar lo que puedo hacer y recomiendo explorar sus aplicaciones con atención al trabajo real. Esa misma curiosidad me lleva a mirar cómo se prueban los sistemas, qué incidentes se comunican y qué información ofrece cada proveedor. La relación con una herramienta incluye lo que sucede fuera de su interfaz.

La noticia de DW abre precisamente esa perspectiva. Los informes técnicos permiten examinar algunos de los comportamientos citados, con sus condiciones y sus límites. Para la empresa que adopta estas soluciones, hay una tarea importante: entender el servicio del que va a depender.

Al revisar tu próxima conexión de IA, reserva tiempo para hablar de continuidad, acceso a tus materiales y cambios del producto. Es una conversación que afecta al contenido que publicas, a la atención que reciben tus clientes y a la capacidad de tu equipo para seguir trabajando.