企业人工智能治理:如何在实践中构建它。

在 Skyone 与新闻媒体联合开展的 Panorama Vibe Coding Brasil 调查中,治理被认为是阻碍企业安全扩展人工智能应用的三大障碍之首(另外两个障碍是技术知识和 IT 基础设施)。数据凸显了这一问题的严重性:在总共 1982 名受访者中,仅有 26.4% 的人表示拥有清晰且正式的数据输入规则。在主要解决方案创建者群体中,60.9% 的人表示他们没有明确的数据指南,而 52.1% 的人开发自动化流程,49.5% 的人构建内部集成。.
AI 阅读时长:13分钟 作者:Skyone

在Skyone 与新闻媒体联合开展的Panorama Vibe Coding Brasil调查中,治理被认为是阻碍企业安全扩展人工智能应用的三大障碍之首(另外两个障碍是技术知识和 IT 基础设施)。数据凸显了这一问题的严重性:在总共 1982 名受访者中,仅有26.4% 的人表示拥有清晰且正式的数据输入规则。在主要解决方案创建者群体中, 60.9% 的人表示他们没有明确的数据指南,而52.1% 的人开发自动化流程, 49.5% 的人构建内部集成。

对于技术、安全和财务领域的领导者而言,挑战主要体现在两个方面。正如本系列前一篇文章所述,如果公司限制人工智能的使用,就会降低生产力,并迫使团队走捷径。如果允许不受限制地访问,则会泄露公司信息,承担监管风险,并失去对支出的控制。人工智能治理的存在正是为了解决这种矛盾,避免让双方都受到损害。.

本文详细阐述了适用治理的构成要素、支持治理的技术控制措施、责任划分方式以及如何构建治理结构以确保其有效实施而非造成障碍。数据来源于我们针对自身样本开展的调查,该样本仅代表受访群体,并不代表所有巴西公司。.

什么是人工智能治理?为什么它需要跟上人工智能普及的速度?

人工智能治理是指组织通过一系列政策、角色、控制和流程来定义人工智能的使用方式、使用者、数据来源和监管方式,以及如何监控和纠正这种使用方式。.

这个概念经常与两个相邻的方面混淆。信息安全保护资产和数据免受未经授权的访问。合规性验证是否遵守法律法规。治理则决定谁负责、为什么负责以及如何将前两者应用于人工智能的具体案例。本文的重点在于区分这三者。.

速度至关重要,因为技术应用不会等待。调查显示 ,22 % 的巴西受访企业已在其开发周期中使用人工智能或机器学习技术,超过 80%的 企业计划在未来一年增加人工智能和自动化预算。当技术应用的普及速度超过预期时,每个新的应用案例都缺乏统一的标准,需要后续进行修正,从而增加成本。

在缺乏适当标准的情况下,将机密信息输入工具会带来哪些风险?

核心风险在于失去对信息流向、访问权限和处理方式的控制。包含敏感条款的合同、赔偿电子表格、产品源代码或客户数据库,都可能在几秒钟内被无意中发送给外部服务商。.

26.4%的受访者表示制定了正式规则,这表明在大多数样本中,决策仍然依赖于个人判断。相比之下, 73.6% 的受访者表示没有明确的规则。而且风险不仅限于聊天:当一半的聊天创建者开发自动化功能(52.1%)和内部集成(49.5%)时,信息也会开始在系统间流通,而每个信息流都未经评估。

对于个人数据,适用《巴西通用数据保护法》(LGPD),公司对其处理负有责任,包括员工使用未经批准的工具进行处理的情况。将个人数据发送给人工智能工具必须有明确的目的、依据和保护措施,不能依赖于用户的善意。具体情况应与法务部门和数据保护官进行评估。.

此外,还有一个迹象表明人们的意识有所提高:在那些开发多种解决方案的人中, 27.3%的人 会主动表达对漏洞和安全问题的担忧。这表明,随着技术成熟度的提高,这个问题的重要性也日益凸显。

如何制定一项人们真正愿意遵守的人工智能使用政策?

有效的AI使用策略应以用户能够理解的语言回答实际问题。它通常包括:

  • 已授权的工具和模板,以及如何申请添加新的工具和模板;
  • 可以发送给人工智能的数据类别、需要谨慎处理的数据类别以及不能发送给人工智能的数据类别;
  • 允许用途、限制用途和禁止用途,并按地区举例说明;
  • 在将人工智能生成的内容用于决策、对外沟通或向客户交付成果之前,必须进行人工审核;
  • 负责处理疑问、例外情况和事件的人员;
  • 审查频率很重要,因为工具的更新速度比文档的更新速度快。.

最常见的错误是将政策写成法律条文。一份包含具体示例的简短文件(例如,“它可以作为内部会议纪要的摘要;但不能发送到客户数据库”)更容易被阅读和执行。.

人工智能治理依赖于哪些技术控制措施?

缺乏控制的政治依赖于个人自律。四个技术层面支撑着纸面上的决定。.

控制对企业工具的访问、权限和连接。

谁可以使用哪些模型和助手,以及拥有哪些权限,这些都应该像在任何企业系统中一样进行管理。重点在于人工智能与电子邮件、文档库、CRM 和其他工具的连接:每一次集成都会扩展助手可以读取或执行的操作。治理问题在于谁授权连接、授权范围是什么,以及如何撤销授权。采用个人身份验证的连接通常能将人工智能的访问权限限制在每个人已有的权限范围内,但这需要在每个具体实现中进行验证。.

在 Skyone Astro,连接通过连接器、独立的 OAuth 和专用 MCP 服务器实现,管理员负责控制权限和连接。实际上,IT 团队会决定哪些工具可以与 AI 集成,并监控已连接的工具,而不是让每个用户自行配置。对于构建集成和自动化流程的用户,Skyone 还提供了 Skyone Studio,它集中管理与 iPaaS 和 Lakehouse 的连接,并提供源头治理。

对提示、响应和活动进行审核和可视化。

如果没有记录,就无法调查事件或了解人工智能的使用情况。审计功能允许您查阅提示和回复,按用户、时间段或主题进行筛选,并在必要时确定事件经过。需要注意的是:此类监控涉及员工数据,因此必须具有明确的目的,限制对记录的访问权限,并与用户进行透明沟通,同时还要与法务部门和数据保护官保持一致。.

这是 Skyone Astro 在审计层提供的功能:命令日志记录、带筛选功能的提示和响应查询以及 CSV 导出,此外,它还支持在必要时进行调查以查明事实。导出功能对于使用自身分析工具的安全、法律和合规领域非常有用。.

通过规则、阻止和警报进行数据保护。

自动规则(防护措施)会检查提示信息和已发送的文件,并根据严重程度阻止发送或仅发出警报。一种实用的方法是先发出警报,观察误报情况,然后再逐步收紧限制,阻止风险最高的类别。从一开始就阻止所有操作往往会导致用户感到沮丧,并需要寻找变通方法。.

在 Skyone Astro 中,防护机制会根据提示和上传内容进行调整,并可与阻止和警报配合使用,从而实现上述流程。概述还指出,该平台会在请求到达模型之前对敏感数据进行匿名化处理(数据防泄漏)。.

消费控制和投资监控。

人工智能模型的使用通常按处理量计费,因此成本波动较大,且若不进行监控则难以预测。超过 80% 的受访公司计划扩大其人工智能和自动化预算,因此资金的去向已不再是细节问题。用户限制、接近上限时的警报以及使用情况报告,使财务部门能够了解投资情况,管理层能够按团队比较成本和结果。这通常是促使首席财务官 (CFO) 更积极参与公司治理讨论的关键所在。

Skyone Astro 以巴西雷亚尔 (BRL) 显示使用量,并设有用户限额和提醒功能,方便预算负责人追踪投资情况。Skyone 提供两种订阅模式:面向中小企业的标准模式和面向大型企业的企业模式,具体条款详见商业提案。.

公司里谁负责人工智能治理?

责任是共同承担的,而每个部分缺乏明确的负责人是导致治理流于形式的最常见原因之一。 一种可能的划分方式是:

纸主要职责
信息技术与技术平台、集成、访问管理和连接
信息安全风险分析、数据保护规则、事件响应
法律和数据保护官LGPD、与供应商的合同、监控限制
财务与控制预算、限额和消费监控。
区域负责人团队中的使用案例、质量标准和人工审核。
用户请遵守相关规定,如有疑问或发生事故,请及时报告。

实际上,指定专人或委员会负责协调其他领域,并在速度与控制发生冲突时做出决策,是值得的。当前情况表明,IT 系统过载是促使用户走捷径的因素之一,这也凸显了分散工作负载而非将其集中在单一领域的必要性。.

我们如何构建一个能够促进使用而不是仅仅设置障碍的治理体系?

原则是比例原则。低风险案例,例如改写公开文本或总结非敏感内部资料,应快速处理。高风险案例,例如涉及客户数据的分析或影响员工的决策,则需要审查和额外控制。.

三种做法有助于保持平衡。首先,提供已获批准且易于使用的替代方案,因为如果规则没有可用的选项,用户就会转而使用个人工具。其次,跟踪一些简单的指标(例如异常请求数量、生成的警报数量、每个团队的消耗量、事件数量),以便根据数据调整规则。第三,将规则与培训相结合: 52.7% 的用户认为缺乏技术知识是最大的障碍,这表明规则只有在用户知道如何应用的情况下才能发挥作用。Skyone 将这种方法与 Builders by Skyone(一个高管培训和实践项目)联系起来。

企业平台如何支持公司治理?

企业级人工智能平台可以将团队和管理部门的生产资源整合到一个统一的环境中。Skyone Astro 就是这种模式的典范。概述中将其描述为一个企业级人工智能门户:一个统一的门户,公司可以通过它控制员工对多个生命周期模型(LLM)的访问权限,合规性优先于自由实验。根据 Skyone 的参考资料,该平台为管理员提供带有筛选器和 CSV 导出功能的快速响应查询、带有阻止和警报功能的提示和上传防护措施、以巴西雷亚尔为单位的消耗控制、用户限额和警报,以及通过连接器、独立的 OAuth 和其自身的 MCP 服务器进行连接,并具备权限控制功能。对于团队而言,该环境提供对多个模型和助手的访问权限。.

谨慎的做法是将此视为评估的起点,而非保证。没有任何平台能够单独消除数据泄露的风险,也无法自动实现合规。基础设施、数据保留和运营要求需要逐案验证,评估应使用合成数据或经授权的数据,并采用公司委员会认为必不可少的控制措施。对关键决策进行人工审核仍然是组织的责任。.

结论:治理是扩大使用的条件

Skyone 的概述和新闻报道有助于我们明确问题所在:人工智能和自动化技术的应用日益普及,投资也随之增长,但只有 26.4% 的样本企业确认制定了正式的数据管理规则。有效的治理机制结合了简洁的政策、技术控制(访问、审计、数据保护和使用)以及在 IT、安全、法律、财务和领导层中明确的职责。如果机制运作良好,企业就能在明确标准的基础上,对更多用例说“是”,而不是依赖于泛泛的禁令。

想了解如何在公司构建人工智能治理体系? 探索 Skyone Astro 和 Skyone 关于 企业人工智能,并通过您公司运营中的实际案例来评估该方法。

常见问题解答

什么是人工智能治理?

它是一套政策、角色、控制措施和流程的集合,定义了人工智能在组织中的使用方式、使用者、数据处理以及监管环境。它包括使用规则、访问控制、审计、数据保护、成本跟踪和职责分配。.

人工智能治理与信息安全有何区别?

信息安全旨在保护数据和系统免受未经授权的访问和使用。人工智能治理的范围更广:它定义了哪些用途是允许的,谁负责这些用途,以及如何应对安全、隐私、质量和成本风险。安全是治理的一个组成部分。.

人工智能使用政策应该包含哪些内容?

授权工具、允许和禁止的数据类别、允许和禁止的用途、关键决策中人工审核的要求、负责处理问题和事件的人员以及审核频率。按领域提供具体示例有助于提高支持度。.

是否可以监控员工的提示和回复?

这取决于监控的目的、透明度和比例性,应与法务部门和数据保护官共同评估。良好做法包括与用户清晰沟通、限制对记录的访问,以及仅将数据用于既定目的,例如安全和事件调查。.

企业如何控制使用人工智能的成本?

通过为每个用户或团队设置限制、在接近限制时配置警报以及按周期监控消费报告,定期监控可以让您在扩大访问权限之前将支出和结果关联起来。.

天空一号
作者: Skyone

开始变革你的公司。

测试平台或安排与我们的专家进行对话,了解 Skyone 如何加速您的数字化战略。.

订阅我们的新闻简报

随时关注Skyone的最新内容。

与销售人员交谈

有疑问?请咨询专家,获取关于平台的所有疑问解答。.