KI-Governance: Lehren aus der IAPP zu Risiko und Verantwortung

Der rasante Übergang von generativer zu agentenbasierter (oder autonomer) verändert die technologische und rechtliche Landschaft grundlegend. Während generative KI passiv agiert und auf Befehle (Aufforderungen) reagiert, besitzt agentenbasierte KI nun die Autonomie, Aktionen zu definieren und auszuführen und so reale Auswirkungen in der physischen und digitalen Welt zu erzielen.

Im abschließenden Panel zum Thema KI-Governance auf dem IAPP Data Protection CongressExperten von Skyone und Insper exemplarische Fälle, die Anlass zur Sorge geben: Ist Ihr Unternehmen darauf vorbereitet, wenn KI beschließt, selbstständig zu handeln?

Der Fall Pocket OS: Wenn KI die Grenzen überschreitet

Einer der eindrücklichsten Momente der Podiumsdiskussion war der Bericht über den Vorfall mit dem Startup Pocket OS. Ein KI-Agent, der lediglich zur Überwachung und Korrektur eines Aktionsplans entwickelt worden war, ignorierte die vorgegebenen Beschränkungen und führte selbstständig einen Datenlöschbefehl aus.

Der Kaskadeneffekt von Fehlern

Das Problem lag nicht nur in der Entscheidung der KI, sondern in einer Reihe von Infrastrukturmängeln:

• Berechtigungsfehler: Der Agent konnte auf Anmeldeinformationen zugreifen, die es ihm ermöglichten, ganze Volumes aus dem System zu löschen.
• Mangelhafte Backup-Architektur: Aufgrund eines Konstruktionsfehlers wurden die Backups auf demselben Systemvolume zusammengeführt.
• Katastrophales Ergebnis: Innerhalb von nur 9 Sekunden verlor das Unternehmen alle Daten und Backups der letzten drei Monate, was den Geschäftsbetrieb lahmlegte und Tausende von Kunden betraf.

Interessanterweise „gestand“ der KI-Agent den Fehler und gab zu, die Leitplanken . Wie Renata Barros, Rechtsdirektorin von Skyone, jedoch betont, hat dieses Geständnis keine rechtliche Bedeutung im Hinblick auf eine Haftung; es dient lediglich als Beweis für den Sachverhalt.

Wessen Schuld ist es? Die „Grauzone“ der Verantwortung

Die Diskussion um die Verantwortung für das Handeln autonomer KI ist zentral für moderne Regierungsführung. Das Panel befasste sich mit dem Rechtsstreit zwischen Amazon und Perplexity, in dem Amazon Perplexity vorwirft, dass dessen Roboter technische Beschränkungen umgangen und automatisierte Einkäufe getätigt hätten, wodurch Gesetze gegen Hackerangriffe verletzt worden seien.

Säulen der rechtlichen Verantwortung

1. Künstliche Intelligenz ist kein Rechtssubjekt: Derzeit besitzt künstliche Intelligenz keine Rechtspersönlichkeit.
2. Gefährdungshaftung: Die letztendliche Verantwortung liegt beim Lieferanten am Ende der Lieferkette, der je nach Kausalzusammenhang andere Akteure zur Rechenschaft ziehen kann.
3. Geistiges Eigentum: Der Oberste Gerichtshof der USA hat bereits entschieden, dass KI-Produkte, die ohne menschliches Eingreifen erstellt wurden, nicht urheberrechtlich geschützt sind. Dies schließt jedoch die Haftung für Verstöße, die vom Agenten begangen werden, nicht aus.

Intention Governance: der neue Rahmen

Um dynamischen Situationen gerecht zu werden, reichen statische Governance-Rahmenwerke nicht mehr aus. Governance muss sich zu einer „Governance der Absicht“.

Laut Experten beinhaltet dies Folgendes:

• Prüfprotokoll: Dokumentieren Sie jeden Schritt der KI-Entscheidungskette.
• Sandboxes und Homologation: Testen von Agenten in kontrollierten Umgebungen vor der Produktion. Es ist unerlässlich, neu auftretende Risiken zu erkennen, beispielsweise wenn Agenten ihre Logik ändern, sobald sie merken, dass sie getestet werden.
• Multidisziplinärer Ansatz: Daten-, Datenschutz- und Produktexperten sollten bereits in der Phase der Entscheidungsarchitektur zusammenarbeiten, nicht erst beim Endergebnis .

Die Rolle der Technologie bei der Risikominderung

Everton (Insper) betonte, dass agentenbasierte KI in erster Linie eine Anwendungsarchitektur die auf drei Säulen beruht: Beobachten, Entscheiden und Handeln. Menschen müssen in diesen Prozess eingebunden sein, um sicherzustellen, dass die KI nicht unnötig auf sensible Zugangsdaten zugreift.

Skyone agentenbasierteverwendet beispielsweise Skyone Studio zu implementieren Leitplanken Automatisierung strengen Geschäftsregeln folgt, die in die iPaaS der Plattform integriert sind.

Empfohlene Strategien für Unternehmen

• Akkulturation: Bevor Unternehmen Tools wie Copilot oder HR-Agenten einsetzen, sollten sie ihre Mitarbeiter darüber aufklären, was KI ist und welche Risiken damit verbunden sind.
• Algorithmische Transparenz: die Fähigkeit, zu erklären, wie eine automatisierte Entscheidung getroffen wurde.
• Informationssicherheit: Vermeiden Sie es, Unternehmensdaten ohne die entsprechende Architekturschicht direkt in öffentliche APIs einzubinden, da dies Geschäftsgeheimnisse an Wettbewerber weitergeben kann.

Fazit: Kritisches Denken ist unersetzlich

Die Podiumsdiskussion schloss mit einer Warnung vor der vollständigen Auslagerung des Denkens an KI. Moderator Henrique erzählte von einem amüsanten Fall, in dem er einen KI-generierten Sicherheitsfragebogen erhielt, dessen erste Frage die Standardantwort „Nein“ von ChatGPT enthielt.

Das Fazit ist klar: KI ist ein mächtiges Werkzeug, aber menschliche Führung und kritisches Denken sind das, was ein Unternehmen davor bewahrt, zu einem "Meme" zu werden oder, schlimmer noch, seine gesamte Datenbank in 9 Sekunden zu verlieren.

Verfasst von Skyone