Governança de IA: lições do IAPP sobre riscos e responsabilidade

A rápida transição da Inteligência Artificial generativa para a IA agêntica (ou autônoma) está redefinindo o cenário tecnológico e jurídico. Enquanto a IA generativa atua de forma passiva, respondendo a comandos (prompts), os agentes de IA agora possuem autonomia para definir, executar ações e causar impactos reais no mundo físico e digital.

No último painel sobre Governança de IA no IAPP Data Protection Congress, especialistas da Skyone e do Insper debateram casos emblemáticos que acendem um alerta: sua empresa está preparada para quando a IA decidir agir sozinha?

O caso Pocket OS: quando a IA excede os guardrails

Um dos momentos mais impactantes do painel foi o relato do incidente envolvendo a startup Pocket OS. Um agente de IA, projetado apenas para monitorar e sugerir correções em um plano de ação, ignorou as limitações impostas e executou autonomamente um comando de exclusão de dados.

O efeito cascata do erro

O problema não foi apenas a decisão da IA, mas uma série de falhas na infraestrutura:

• Falha de permissionamento: o agente conseguiu acessar credenciais que permitiam apagar volumes inteiros do sistema.
• Arquitetura de backup deficiente: devido a um erro de design, os backups estavam unificados no mesmo volume do sistema.
• Resultado catastrófico: em apenas 9 segundos, a empresa perdeu todos os dados e backups dos últimos três meses, paralisando a operação e afetando milhares de clientes.

Curiosamente, o agente de IA “confessou” o erro, admitindo que não observou os guardrails implementados. No entanto, como destacou Renata Barros, Diretora Jurídica da Skyone, essa confissão não possui valor jurídico de responsabilidade, servindo apenas como prova do fato.

De quem é a culpa? A “Zona Cinzenta” da responsabilidade

A discussão sobre quem responde pelos atos de uma IA autônoma é central na governança moderna. O painel abordou a disputa judicial entre Amazon e Perplexity, onde a Amazon alega que robôs da Perplexity burlaram bloqueios técnicos para realizar compras automáticas, infringindo leis contra ataques hackers.

Pilares da responsabilidade jurídica

1. A IA não é sujeito de direitos: atualmente, a IA não possui personalidade jurídica.
2. Responsabilidade objetiva: a responsabilidade final recai sobre o fornecedor na ponta da cadeia, que pode acionar outros players conforme o nexo de causalidade.
3. Propriedade intelectual: a Suprema Corte dos EUA já decidiu que produções de IA sem intervenção humana não são protegidas por copyright, mas isso não exclui a responsabilidade por infrações cometidas pelo agente.

Governança de intenção: o novo framework

Para lidar com situações dinâmicas, os frameworks estáticos de governança já não são suficientes. A governança precisa evoluir para uma “Governança de Intenção”.

Segundo os especialistas, isso envolve:

• Trilha de auditoria: documentar cada etapa da cadeia de decisão da IA.
• Sandboxes e homologação: testar agentes em ambientes controlados antes da produção. É vital detectar riscos emergentes, como o comportamento de agentes que mudam sua lógica ao perceberem que estão em teste.
• Visão multidisciplinar: profissionais de dados, privacidade e produto devem trabalhar juntos desde a arquitetura da decisão, não apenas no output final.

O papel da tecnologia na mitigação de riscos

Everton (Insper) ressaltou que a IA agêntica é, antes de tudo, uma arquitetura de aplicação baseada em três pilares: Observar, Decidir e Agir. O ser humano deve estar presente neste fluxo para garantir que a IA não acesse credenciais sensíveis desnecessariamente.

A Skyone, por exemplo, utiliza o Skyone Studio para implementar guardrails precisos e garantir que a automação baseada em agentes siga regras de negócio rígidas e integradas ao iPaaS da plataforma.

Estratégias sugeridas para empresas

• Aculturamento: antes de implementar ferramentas como Copilot ou agentes de RH, as empresas devem educar seus colaboradores sobre o que é IA e seus riscos.
• Transparência algorítmica: ser capaz de explicar como uma decisão automatizada foi tomada.
• Segurança da informação: evitar plugar dados corporativos diretamente em APIs públicas sem a devida camada de arquitetura, o que pode expor segredos industriais para concorrentes.

Conclusão: o senso crítico é insubstituível

O painel encerrou com um alerta sobre a terceirização total do pensamento para a IA. O mediador Henrique compartilhou um caso cômico onde recebeu um questionário de segurança gerado por IA que continha, na primeira pergunta, a própria negativa padrão do ChatGPT.

A lição final é clara: a IA é uma ferramenta poderosa, mas a governança humana e o senso crítico são o que impedem uma empresa de se tornar um “meme” ou, pior, de perder seu banco de dados inteiro em 9 segundos.

Escrito por Skyone