人工智能治理：来自国际人工智能专业人士协会（IAPP）关于风险和责任的经验教训

从生成式人工智能到 智能体（或自主式）人工智能的 正在重塑技术和法律格局。生成式人工智能被动地响应指令（提示），而智能体人工智能现在拥有自主权，可以定义和执行行动，并在物理世界和数字世界中产生实际影响。

人工智能治理专题讨论会上 IAPP 数据保护大会的，来自 Skyone 和 Insper 的 探讨了一些具有代表性的案例，这些案例敲响了警钟：当人工智能决定自行行动时，您的公司是否做好了准备？

Pocket OS 案例：当人工智能突破界限时。

事件 Pocket OS 的。一个原本设计用于监控并提出行动计划修正建议的人工智能代理，无视既定限制，自主执行了数据删除指令。

误差的级联效应

问题不仅出在人工智能的决策上，还出在一系列基础设施缺陷上：

• 权限失败： 代理能够访问凭据，从而可以从系统中删除整个卷。
• 备份架构不佳： 由于设计缺陷，备份文件统一保存在同一个系统卷上。
• 灾难性后果： 短短 9 秒内，该公司丢失了过去三个月的所有数据和备份，导致运营瘫痪，并影响了数千名客户。

有趣的是，人工智能代理“承认”了错误，承认它没有注意到护栏 。 然而，正如 雷纳塔·巴罗斯，这种承认在法律责任方面没有任何效力，仅仅作为事实的证据。

究竟是谁的错？责任的“灰色地带”。

关于谁应为自主人工智能的行为负责的讨论是现代治理的核心。小组讨论了 亚马逊与Perplexity，亚马逊指控Perplexity的机器人绕过技术限制进行自动购物，违反了反黑客攻击法。

法律责任的支柱

1. 人工智能不享有权利： 目前，人工智能不具备法人资格。
2. 严格责任制： 最终责任落在供应链末端的供应商身上，供应商可以根据因果关系追究其他参与者的责任。
3. 知识产权： 美国最高法院已经裁定，未经人类干预而创建的人工智能产品不受版权保护，但这并不排除代理人因侵权行为而承担责任。

意图治理：新框架

为了应对动态变化的局面，静态的治理框架已不再足够。治理需要演变为 “意图治理”。

专家表示，这包括：

• 审计追踪： 记录人工智能决策链的每一步。
• 沙箱和认证： 在正式上线前，在受控环境中测试代理。这对于发现潜在风险至关重要，例如代理在意识到自己正在接受测试时改变其逻辑。
• 多学科方法： 数据、隐私和产品专业人员应该从决策架构阶段开始共同合作，而不仅仅是在 输出阶段 。

技术在降低风险中的作用。

埃弗顿（Insper）强调，智能体人工智能首先是一种 应用架构 基于三大支柱的 观察、决策和行动。在这个流程中必须有人类参与，以确保人工智能不会不必要地访问敏感凭证。

Skyone 基于例如， Skyone Studio 来实现 防护措施 的自动化遵循集成到平台 iPaaS 中的严格业务规则。

给企业的建议策略

• 文化适应： 在实施 Copilot 或 HR 代理等工具之前，公司应该对员工进行人工智能及其风险方面的教育。
• 算法透明度： 能够解释自动化决策是如何做出的。
• 信息安全： 避免在没有适当架构层的情况下将公司数据直接接入公共 API，因为这可能会将商业机密暴露给竞争对手。

结论：批判性思维是不可替代的。

小组讨论最后对完全将思考外包给人工智能的做法发出警告。主持人亨里克分享了一个滑稽的例子：他收到一份人工智能生成的安全问卷，其中第一个问题竟然是ChatGPT的默认答案“否”。.

结论很明确：人工智能是一个强大的工具，但 人类的管理 和批判性思维才能防止公司沦为“​​笑柄”，或者更糟的是，在 9 秒内丢失整个数据库。

作者： Skyone