Gobernanza de la IA: Lecciones de la IAPP sobre riesgo y responsabilidad

La rápida transición de la inteligencia artificial generativa a la IA autónoma está redefiniendo el panorama tecnológico y legal. Mientras que la IA generativa actúa de forma pasiva, respondiendo a comandos (indicaciones), la IA autónoma ahora tiene la capacidad de definir y ejecutar acciones y generar impactos reales en el mundo físico y digital.

En el panel final sobre gobernanza de la IA en el Congreso de Protección de Datos de la IAPP, expertos de Skyone e Insper analizaron casos emblemáticos que generan preocupación: ¿está su empresa preparada para cuando la IA decida actuar por su cuenta?

El caso de Pocket OS: cuando la IA sobrepasa los límites establecidos

Uno de los momentos más impactantes del panel fue el relato del incidente que involucró a la startup Pocket OS. Un agente de IA, diseñado únicamente para monitorear y sugerir correcciones en un plan de acción, ignoró las limitaciones impuestas y ejecutó de forma autónoma una orden de eliminación de datos.

El efecto en cascada del error

El problema no radicaba únicamente en la decisión de la IA, sino en una serie de fallos de infraestructura:

• Error de permisos: el agente pudo acceder a credenciales que le permitieron eliminar volúmenes completos del sistema.
• Arquitectura de copias de seguridad deficiente: debido a un fallo de diseño, las copias de seguridad se unificaron en el mismo volumen del sistema.
• Resultado catastrófico: en tan solo 9 segundos, la empresa perdió todos sus datos y copias de seguridad de los últimos tres meses, paralizando las operaciones y afectando a miles de clientes.

Curiosamente, el agente de IA "confesó" el error, admitiendo que no se percató de las barandillas . Sin embargo, como destacó Renata Barros, directora jurídica de Skyone, esta confesión carece de valor legal en términos de responsabilidad, sirviendo únicamente como prueba del hecho.

¿De quién es la culpa? La "zona gris" de la responsabilidad

El debate sobre quién es responsable de las acciones de la IA autónoma es fundamental para la gobernanza moderna. El panel abordó la disputa legal entre Amazon y Perplexity, en la que Amazon alega que los robots de Perplexity eludieron las restricciones técnicas para realizar compras automatizadas, violando las leyes contra los ataques informáticos.

Pilares de la responsabilidad jurídica

1. La IA no es sujeto de derechos: actualmente, la IA no posee personalidad jurídica.
2. Responsabilidad objetiva: la responsabilidad última recae en el proveedor al final de la cadena, quien puede exigir responsabilidades a los demás participantes en función del vínculo causal.
3. Propiedad intelectual: El Tribunal Supremo de Estados Unidos ya ha dictaminado que los productos de IA creados sin intervención humana no están protegidos por derechos de autor, pero esto no excluye la responsabilidad por las infracciones cometidas por el agente.

Gobernanza de la intención: el nuevo marco

Para hacer frente a situaciones dinámicas, los marcos de gobernanza estáticos ya no son suficientes. La gobernanza debe evolucionar hacia una "gobernanza de la intención".

Según los expertos, esto implica:

• Registro de auditoría: documentar cada paso de la cadena de decisiones de la IA.
• Entornos de prueba y homologación: se prueban los agentes en entornos controlados antes de su producción. Es fundamental detectar riesgos emergentes, como que los agentes modifiquen su lógica al darse cuenta de que están siendo sometidos a pruebas.
• Enfoque multidisciplinario: Los profesionales de datos, privacidad y producto deben trabajar juntos desde la etapa de arquitectura de decisiones, no solo en el resultado .

El papel de la tecnología en la mitigación de riesgos

Everton (Insper) destacó que la IA con agentes es, ante todo, una arquitectura de aplicación basada en tres pilares: Observar, Decidir y Actuar. Es fundamental la presencia humana en este proceso para garantizar que la IA no acceda innecesariamente a credenciales confidenciales.

Skyone agentes, por ejemplo, utiliza Skyone Studio para implementar medidas de seguridad siga reglas comerciales estrictas integradas en la plataforma iPaaS.

Estrategias sugeridas para las empresas

• Aculturación: Antes de implementar herramientas como Copilot o agentes de recursos humanos, las empresas deben educar a sus empleados sobre qué es la IA y sus riesgos.
• Transparencia algorítmica: poder explicar cómo se tomó una decisión automatizada.
• Seguridad de la información: evite conectar datos corporativos directamente a las API públicas sin la capa de arquitectura adecuada, ya que esto puede exponer secretos comerciales a la competencia.

Conclusión: el pensamiento crítico es insustituible

El panel concluyó con una advertencia sobre la externalización total del pensamiento a la IA. El moderador Henrique compartió un caso cómico en el que recibió un cuestionario de seguridad generado por IA que contenía, en su primera pregunta, la respuesta predeterminada "no" de ChatGPT.

En definitiva, la conclusión es clara: la IA es una herramienta poderosa, pero la gestión humana y el pensamiento crítico son lo que impide que una empresa se convierta en un "meme" o, peor aún, que pierda toda su base de datos en 9 segundos.

Escrito por Skyone