既然已经相信人工智能,为什么识别人工智能内容如此困难?

你可能在评论和动态里见过(甚至自己也用过)这句话:“我差点就信了。”它出现在各种视频下方,比如动物做出不可能的动作、完美得可疑的“机场”自拍、或者听起来像名人胡言乱语的音频。这句话完美地诠释了“哎呀,我差点就上当了”的瞬间。而它之所以好笑,是因为它说的是事实:如今,只有不到1%的人能够正确识别人工智能生成的虚假内容,无论是照片、音频还是视频。.
网络安全 阅读时长:9分钟 作者:Skyone

你可能在评论和动态里见过(甚至自己也用过)这句话: “我差点就信了。” 它出现在各种视频下方,比如动物做出不可能的动作、完美得可疑的“机场”自拍、或者听起来像名人胡言乱语的音频。这句话完美地诠释了“哎呀,我差点就上当了”的瞬间。而它之所以好笑,是因为它说的是事实:如今, 只有不到1%的人 能够正确识别人工智能生成的虚假内容,无论是照片、音频还是视频。

这个笑话的核心在于描述一个真实的数据。而问题也由此变得严肃起来:据巴西联邦警察统计, 到2026年,深度伪造诈骗案件增长了400%,人工智能已经渗透 42.5% 的已登记金融诈骗案件中。换句话说,那种让你在观看猫咪视频时会发笑的“我差点就信了”的心理,正是诈骗分子用来诱骗公司转账的手段。

但是,这种“我早就相信了”的想法究竟从何而来呢?

说实话,这个短语并没有官方记载的起源,也没有任何帖子“发明”了它,至少我们目前还没有找到确凿的证据。它更像是巴西互联网上常见的自然形成现象:有人在评论里说了这句话,它就此流行起来,成为一种标准反应,然后突然间就无处不在了。.

它现在流行起来完全合情合理。我们无时无刻不被人工智能生成的内容所包围,从席卷 Instagram 的吉卜力风格“艺术”到从未发生过的超逼真视频,不一而足。“人工智能已经相信了”几乎成了一种条件反射,就像你读到一篇离奇的新闻报道,在转发之前,你会停下来想:“等等,这是真的吗?”.

问题在于,这种反思正变得越来越不可靠,不是因为我们变得更加分心,而是因为“人工智能生成”的结果变得太好。.

生成模型已经发展到能够生成足以以假乱真的图像、视频和音频,甚至连那些早已习惯辨别虚假内容的人都能信以为真。这其中颇具讽刺意味:我们越是学会对互联网上的信息保持怀疑,虚假内容就越需要精妙复杂才能通过我们的过滤,然而,它们最终还是做到了。.

结果导致了一种不信任疲劳。我们不再知道什么是真,在很多情况下,我们也不知道自己区分真假的能力是否值得信赖。而且,这不再仅仅是病毒式传播视频的问题了。.

您可能还对以下内容感兴趣: 巴西人工智能代理的瓶颈:不是技术,而是信任。

为什么现在几乎没有人能识别深度伪造技术了?

你还记得以前只要看一眼那只七指烧伤的手就能“识破”人工智能生成的图像吗?嗯,那种日子已经一去不复返了。过去,识别数字造假主要依靠寻找错误:奇怪的手、过于机械的声音、怪异的动作、与语音不符的面部特征等等。生成式人工智能已经消除了大部分此类错误,市场数据也明确证实了这一点: 研究表明,只有不到1%的人能够始终如一地正确识别人工智能生成的虚假内容

如今,虚假内容在技术上可以令人信服,尤其是在 语境,而这后者最具迷惑性。一段知名人士说出荒谬话语的视频仍然会引起怀疑(我们仍然可以识破这种伎俩)。问题在于,当同一个人在熟悉的语境下,用他自己的声音和举止说出看似合理的话语时,难点就不再在于识别异常,而在于对看似完全正常的事物产生怀疑。而怀疑正常事物远比怀疑异常事物要困难得多(也更令人疲惫)。

另请阅读: 黑色星期五诈骗:如何保护您的操作

从网络迷因到骗局:它是如何被利用的。

好了,目前为止一切顺利,但请稍等,因为这个玩笑背后还有严肃的一面。这种情况与信息安全息息相关,因为大多数 攻击 并非始于技术漏洞,而是始于有人被诱骗去做某事。这与网络钓鱼、社会工程和身份盗窃背后的原理相同,只不过现在多了个内置的说服力倍增器。

巴西2026年的数据清晰地显示了这一趋势:

指标鉴于
2026年巴西深度伪造欺诈的增长情况+400%
人工智能对该国记录在案的金融诈骗案件总数的贡献。42.5%(联邦警察)
一年内,利用深度伪造和合成身份进行的欺诈活动有所增长。+126%(Sumsub 2025-2026 年身份欺诈报告)
巴西参与拉丁美洲发现的深度伪造案件约39%——大约是美国比例的5倍
2025年“CEO骗局2.0”对巴西企业的损害12亿雷亚尔(Febraban)
能够正确识别虚假人工智能内容的人员。不到1%

金融界人士将此类诈骗称为“CEO骗局2.0”,这个绰号恰如其分地概括了其作案手法:犯罪分子伪造高管的声音(或视频),以授权转账或授予访问权限。2024年,一起广为人知的案例涉及一起使用深度伪造音频的诈骗未遂案,该音频模仿CEO的声音,要求紧急转账。诈骗最终失败,是因为一位心存疑虑的高管询问了一个只有真正的CEO才知道答案的私人问题。在世界各地其他已报道的案例中,由于缺乏此类验证,损失最终得以确认。.

犯罪分子可以利用高管的公开信息(例如采访、LinkedIn视频、录音通话)来构建更接近该高管实际沟通方式的诈骗手段。他们可以将文字、语音和图像结合起来,制造看似合法的请求。他们还可以利用紧迫感、语境和权威性来缩短受害者质疑请求的时间。.

因此,技术本身并没有创造一个新问题,而是让一个旧问题(社会工程学)变得更加棘手。这或许是讨论中最关键的部分: 主要的漏洞并非在于深度伪造技术本身,而在于它试图诱发的决定。

“教人多疑”的局限性

提到这个话题,人们自然会想到:培训人们识别人工智能生成的内容。这一点仍然至关重要;团队需要了解最常见的特征,并明白语音和图像已不足以作为身份证明。.

但这种方法显然存在局限性,“不到1%”这个数字就足以说明问题:如果安全完全依赖于有人注意到某个音频“听起来很奇怪”,那么这项责任就落在了人类一种原本并非设计用来作为身份验证机制的能力上。大脑会利用上下文、熟悉度和模式来快速做出判断;大多数情况下,这是一种优势,但正是这种可预测性容易被利用。.

因此,深度伪造技术的兴起给 企业仅仅教会人们提高警惕是不够的,还需要建立不完全依赖于人们不信任感的流程。

即使骗局看起来很正规,这种安全措施也能奏效。

这种视角转变将部分责任从个人转移到了系统层面。在实践中,这意味着:

  • 对于高影响交易(转账、更改银行详细信息、授予对关键系统的访问权限),无论请求看起来多么令人信服,都必须进行第二次确认
  • 多因素认证(MFA) 已成为标准,而非例外;仅凭语音和图像已不足以证明身份。
  • 风险比例访问控制,限制权限并监控异常行为;
  • 进行敏感变更的正式程序 ,不依赖于一次看似合法的电话或短信。

逻辑很简单: 决策的影响越大,就越不应该仅仅依赖于单一的身份证明。 一个人可能认为自己正在与首席执行官交谈,但大额资金的转移不应仅仅取决于这一点。

安全架构在这个讨论中扮演什么角色?

这正是零信任架构背后的基本原理:它不再依赖单一证据(熟悉的声音、熟悉的面孔、看似来自可靠来源的信息),而是要求对关键系统的访问必须经过强制身份验证才能发布,采用多因素身份验证 (MFA) 和其他控制措施,避免攻击发生时人为判断的干扰。Skyone Autosky 正是运用这种层级结构——在应用程序访问之前进行强身份验证,而不是在有人“信任老板的声音”之后——来保护对业务系统的访问。在监控方面,威胁分析工具和安全运营中心/安全信息与事件管理 (SOC/SIEM)系统能够帮助识别异常行为,即使初始请求看起来完全合法,因为防御不能依赖于“及时发现”。

还有一个更大的问题:数字信任。

或许,深度伪造技术普及带来的最引人关注的影响并非诈骗案件的增加,而是信任的崩塌。当我们知道声音可以被克隆、图像可以被伪造、视频可以被制作时,我们便开始质疑以往被视为证据的东西。一通电话可能不够,一张照片可能不够,一段视频可能也不够。.

这改变了日益依赖数字化互动的公司的运营模式。 真实性看似真实的状态。内容可能看起来完全合法,但实际上并非如此。因此,安全问题开始转变:不再仅仅是“这看起来是真的吗?”,而是“我如何才能确认这是真的?”。

天空一号
作者: Skyone

开始变革你的公司。

测试平台或安排与我们的专家进行对话,了解 Skyone 如何加速您的数字化战略。.

订阅我们的新闻简报

随时关注Skyone的最新内容。

与销售人员交谈

有疑问?请咨询专家,获取关于平台的所有疑问解答。.