Gouvernance de l'IA : Leçons de l'IAPP sur les risques et les responsabilités

La transition rapide de l'intelligence artificielle générative à l'IA agentique (ou autonome) redéfinit le paysage technologique et juridique. Alors que l'IA générative agit passivement, en répondant à des commandes (invites), l'IA agentique possède désormais l'autonomie nécessaire pour définir et exécuter des actions et avoir un impact concret dans le monde physique et numérique.

Lors de la dernière table ronde sur la gouvernance de l'IA au Congrès IAPP sur la protection des données, des experts de Skyone et d'Insper ont discuté de cas emblématiques qui tirent la sonnette d'alarme : votre entreprise est-elle préparée au moment où l'IA décidera d'agir de son propre chef ?

Le cas Pocket OS : quand l’IA dépasse les limites

L'un des moments les plus marquants de la table ronde a été le récit de l'incident impliquant la start-up Pocket OS. Un agent d'IA, conçu uniquement pour surveiller et suggérer des corrections dans un plan d'action, a ignoré les limitations imposées et a exécuté de manière autonome une commande de suppression de données.

L'effet en cascade des erreurs

Le problème ne résidait pas uniquement dans la décision de l'IA, mais dans une série de défaillances d'infrastructure :

• Échec d'autorisation : l'agent a pu accéder à des identifiants lui permettant de supprimer des volumes entiers du système.
• Architecture de sauvegarde défaillante : en raison d’un défaut de conception, les sauvegardes étaient regroupées sur le même volume système.
• Résultat catastrophique : en seulement 9 secondes, l’entreprise a perdu toutes ses données et sauvegardes des trois derniers mois, paralysant ses opérations et affectant des milliers de clients.

Il est intéressant de noter que l'agent IA a « avoué » son erreur, admettant ne pas avoir remarqué les barrières de sécurité . Toutefois, comme le souligne Renata Barros, directrice juridique de Skyone, cet aveu n'a aucune valeur juridique en matière de responsabilité ; il constitue uniquement une preuve du fait.

À qui la faute ? La « zone grise » de la responsabilité

La question de la responsabilité des actions des IA autonomes est au cœur de la gouvernance moderne. Le panel a abordé le litige juridique opposant Amazon à Perplexity, Amazon accusant les robots de Perplexity d'avoir contourné les restrictions techniques pour effectuer des achats automatisés, en violation des lois contre les attaques informatiques.

Piliers de la responsabilité juridique

1. L'IA n'est pas un sujet de droits : actuellement, l'IA ne possède pas de personnalité juridique.
2. Responsabilité objective : la responsabilité finale incombe au fournisseur en bout de chaîne, qui peut tenir les autres acteurs responsables en fonction du lien de causalité.
3. Propriété intellectuelle : La Cour suprême des États-Unis a déjà statué que les produits d’IA créés sans intervention humaine ne sont pas protégés par le droit d’auteur, mais cela n’exclut pas la responsabilité pour les infractions commises par l’agent.

Gouvernance des intentions : le nouveau cadre

Pour faire face à des situations dynamiques, les cadres de gouvernance statiques ne suffisent plus. La gouvernance doit évoluer vers une « gouvernance des intentions ».

Selon les experts, cela implique :

• Piste d'audit : documenter chaque étape de la chaîne de décision de l'IA.
• Environnements de test et homologation : tester les agents dans des environnements contrôlés avant la production. Il est essentiel de détecter les risques émergents, comme par exemple la modification du comportement des agents lorsqu’ils se rendent compte qu’ils sont testés.
• Approche multidisciplinaire : les professionnels des données, de la confidentialité et des produits devraient travailler ensemble dès la phase d’architecture décisionnelle, et pas seulement sur le résultat .

Le rôle de la technologie dans l'atténuation des risques

Everton (Insper) a souligné que l'IA agentique est avant tout une architecture applicative reposant sur trois piliers : Observer, Décider et Agir. La présence humaine est indispensable dans ce processus afin d'éviter que l'IA n'accède inutilement à des données sensibles.

Skyone sur, par exemple, utilise Skyone Studio pour mettre en œuvre des garde-fous respecte des règles métier strictes intégrées à l'iPaaS de la plateforme.

Stratégies suggérées aux entreprises

• Acculturation : Avant de mettre en œuvre des outils comme Copilot ou des agents RH, les entreprises devraient sensibiliser leurs employés à ce qu'est l'IA et à ses risques.
• Transparence algorithmique : capacité à expliquer comment une décision automatisée a été prise.
• Sécurité des informations : évitez d'intégrer directement des données d'entreprise dans des API publiques sans une architecture appropriée, car cela peut exposer des secrets commerciaux à la concurrence.

Conclusion : la pensée critique est irremplaçable

La table ronde s'est conclue par une mise en garde contre la délégation totale de la pensée à l'IA. Le modérateur, Henrique, a partagé une anecdote amusante : il avait reçu un questionnaire de sécurité généré par une IA dont la première question contenait la réponse par défaut « non » de ChatGPT.

En résumé, le constat est clair : l’IA est un outil puissant, mais la gouvernance humaine et l’esprit critique sont ce qui empêche une entreprise de devenir un « mème » ou, pire encore, de perdre l’intégralité de sa base de données en 9 secondes.

Écrit par Skyone