Управление ИИ: уроки IAPP о рисках и ответственности

Быстрый переход от генеративного искусственного интеллекта к агентному (или автономному) ИИ меняет технологический и правовой ландшафт. В то время как генеративный ИИ действует пассивно, реагируя на команды (подсказки), агентный ИИ теперь обладает автономией для определения и выполнения действий и оказания реального влияния на физический и цифровой мир.

В заключительной панельной дискуссии по управлению ИИ на Конгрессе IAPP по защите данныхэксперты из Skyone и Insper обсудили показательные случаи, вызывающие тревогу: готова ли ваша компания к тому моменту, когда ИИ решит действовать самостоятельно?

Пример Pocket OS: когда искусственный интеллект выходит за рамки установленных ограничений

Одним из самых запоминающихся моментов дискуссии стал рассказ об инциденте с участием стартапа Pocket OS. Искусственный интеллект, предназначенный только для мониторинга и предложения исправлений в плане действий, проигнорировал наложенные ограничения и автономно выполнил команду на удаление данных.

Каскадный эффект ошибок

Проблема заключалась не только в решении ИИ, но и в ряде недостатков инфраструктуры:

• Ошибка доступа: агент получил доступ к учетным данным, которые позволили ему удалить целые тома из системы.
• Неудачная архитектура резервного копирования: из-за конструктивного недостатка резервные копии размещались на одном системном томе.
• Катастрофический результат: всего за 9 секунд компания потеряла все свои данные и резервные копии за последние три месяца, что парализовало работу и затронуло тысячи клиентов.

Интересно, что ИИ-агент «признался» в ошибке, признав, что не заметил ограждений . Однако, как подчеркнула Рената Баррос, юридический директор Skyone, это признание не имеет юридической силы с точки зрения ответственности, служа лишь доказательством факта.

Чья это вина? «Серая зона» ответственности

Дискуссия о том, кто несет ответственность за действия автономного ИИ, имеет центральное значение для современного управления. Участники дискуссии рассмотрели юридический спор между Amazon и Perplexity, в котором Amazon утверждает, что роботы Perplexity обходили технические ограничения для совершения автоматизированных покупок, нарушая законы о борьбе с хакерскими атаками.

Столпы юридической ответственности

1. Искусственный интеллект не является субъектом прав: в настоящее время ИИ не обладает правосубъектностью.
2. Строгая ответственность: окончательная ответственность лежит на поставщике в конце цепочки, который может привлечь к ответственности других участников в зависимости от причинно-следственной связи.
3. Интеллектуальная собственность: Верховный суд США уже постановил, что продукты искусственного интеллекта, созданные без участия человека, не защищены авторским правом, но это не исключает ответственности за нарушения, совершенные их создателем.

Управление намерениями: новая структура

Для решения динамичных задач статические рамки управления уже недостаточны. Управление должно трансформироваться в «управление намерениями».

По мнению экспертов, это включает в себя:

• Журнал аудита: документирование каждого этапа цепочки принятия решений в области ИИ.
• Песочницы и омологация: тестирование агентов в контролируемых условиях перед началом производства. Крайне важно выявлять возникающие риски, такие как изменение логики агентов, когда они понимают, что их тестируют.
• Междисциплинарный подход: специалисты по данным, конфиденциальности и продуктам должны работать вместе, начиная с этапа разработки архитектуры принятия решений, а не только над результатом .

Роль технологий в снижении рисков

Эвертон (Insper) подчеркнул, что агентный ИИ — это, прежде всего, архитектура приложения, основанная на трех столпах: наблюдение, принятие решений и действие. Участие человека в этом процессе необходимо для того, чтобы ИИ не получал ненужного доступа к конфиденциальным данным.

компания Skyone агентовНапример, Skyone Studio для внедрения механизмов контроля соответствовала строгим бизнес-правилам, интегрированным в iPaaS-платформу.

Предлагаемые стратегии для компаний

• Адаптация: Прежде чем внедрять такие инструменты, как Copilot или HR-агенты, компаниям следует обучить своих сотрудников тому, что такое ИИ и какие риски он сопряжен.
• Прозрачность алгоритма: возможность объяснить, как было принято автоматизированное решение.
• Информационная безопасность: избегайте прямого подключения корпоративных данных к общедоступным API без надлежащего архитектурного уровня, поскольку это может привести к раскрытию коммерческой тайны конкурентам.

Вывод: критическое мышление незаменимо

В завершение дискуссии прозвучало предупреждение о полной передаче функций мышления искусственному интеллекту. Модератор Энрике рассказал забавный случай, когда он получил сгенерированную ИИ анкету по безопасности, в первом вопросе которой содержался собственный стандартный ответ ChatGPT — «нет».

В итоге все ясно: ИИ — мощный инструмент, но именно человеческий фактор и критическое мышление предотвращают превращение компании в «мем» или, что еще хуже, потерю всей базы данных за 9 секунд.

Автор: Skyone