员工被要求向指定账户转账，老板却是AI换脸后的“冒牌货”？就在2月，一则涉案金额高达2亿港元的AI换脸诈骗案引发了高度关注。如果说2023年是生成式AI的元年，那么2024年它又迎来了新的爆发。ChatGPT带来人工智能革命性的突破，Sora的横空出世，又将人们带入视频生成全新领域。而在各种新鲜技术层出不穷的当下，不法分子通过AI换脸诈骗的隐患也随之滋生。问题随之而来：AI换脸怎么实现的？有没有好的方法甄别？此类风险又该如何预防？

AI诈骗横行

根据香港警方披露，一家跨国公司香港分部的职员受邀参加总部首席财务官发起的“多人视频会议”，按照高管们的安排，先后15次将2亿港元转到指定的账户。没承想，其他“参会人员”都是经过AI换脸后的诈骗人员。

事后调查发现，诈骗人在开始行动前，早已搜集好了公司高层的媒体采访、视频平台的相关内容，并拿到英国总公司高层管理人员的形象和声音，利用Deepfake（深度伪造）技术，制作出高层人员的发言视频。而诈骗人在视频会议当天直接使用提前制作好的视频，由于视频会议的内容基本上是总公司的高管们单方面向其他人下达命令，会议期间并没有暴露真相。此次诈骗事件中的“Deepfake”技术，在早年就已经引起过轰动。这样的深度伪造技术指基于AI人工智能技术进行人体图像的合成。目前使用AI的深伪技术已经能达到还原度很高的换脸效果，再结合语音伪造技术，就能做到“造人”。香港2亿港元诈骗案并不是个例。近日，陕西西安财务人员张女士与老板视频通话，被要求转账186万元到一个指定账号。被害人张女士称，“老板”让把这个款赶紧转过去，这笔款要得非常着急，因为“老板”声音还有视频图像都跟他本人是一样的，所以并未起疑。当然，这同样是一场骗局。种种案件的发生，已经昭示着AI诈骗离我们不再遥远。电信诈骗不法分子通常会换脸成亲人、朋友、同事等，向受害人索取钱财，视频的方式看似可信度高，却也让受害人放松了警惕。

已有检测算法辨别换脸

“眼见不一定为实”“有图有视频也不一定是真相”的时代已经来临。AI技术革新催生了花样繁杂的诈骗手段，对于普通人来说，了解技术背后的原理，才能“知己知彼”。

事实上，AI换脸背后的技术逻辑并不复杂。“简单来讲，AI换脸主要使用的就是深度合成技术。”中国信通院人工智能研究中心安全与元宇宙部主任石霖介绍道，首先使用大量的人脸数据，通过深度学习算法和神经网络，训练模型识别和理解人脸的关键特征，这些特征主要包括五官的位置、表情、光照等。在换脸的过程中，使用训练好的模型提取原始人脸照片或视频的特征，然后将目标人脸与之相匹配，实现这些特征的转移。

石霖补充到，前几年，实现AI换脸存在一定的门槛，通常需要高质量的数据集对模型进行训练和微调，让模型能够准确地识别和提取面部特征；在制作换脸视频的过程中，需要足够的算力资源来支撑模型的运行。然而当前，已经有很多相对成熟的深度合成的开源项目或者工具。“可以说AI换脸的成本正在逐步降低，速度和拟真度正在不断提升，已经达到了快速制作一段肉眼难以辨别的换脸视频的程度。”

不过与此同时，当前AI换脸的一些技术弱点仍然存在。石霖指出，一些换脸的视频会存在光照、表情等不够自然、帧与帧之间不够连贯的问题，尽管随着模型能力的提升，这些换脸的痕迹已经做到几乎肉眼难以辨别的程度，但我们仍然可以通过一些专用的检测算法进行辨别。这些检测算法在训练过程中大量学习了换脸视频中伪造特征的方式，在使用的过程中逐帧提取特征，从而判断一段视频是否经过了换脸。当前，这些技术已经开始用在金融场景中，实现对诈骗等行为的识别。

那么，这些鉴别技术应用于反诈领域，前景如何？不得不承认，网络信号与算力仍是待解决的难题。“由于这些技术仍然需要大量的计算资源特别是GPU的支持，因此，通常在使用过程中，需要将相关的检测模型部署在服务器中。但如果想要将这些检测模型部署在手机、个人电脑中，或嵌入到社交、会议软件里，可能会对软硬件的使用体验造成较大的影响。近年来，很多技术企业已经开始尝试不断优化检测模型，探索将模型部署在端侧。”石霖说道。

多主体全链条治理

除了消费者自身提高网络安全意识，对于AI换脸相关风险的预防与整治，需要从平台、相关技术服务商，到监管、司法形成多主体、全链条的治理。

“在人脸等敏感个人信息的采集使用者层面，应该严格落实法律法规的相关要求，设定采集和使用范围、访问规则、销毁策略等，并配备相关的技术手段提升安全防护能力。在技术提供方层面，应该不断提升换脸视频的识别能力，降低识别系统的运行成本，逐步实现识别系统的广泛普及应用。”石霖补充道。此外，监管是必不可少的一环。石霖表示，应加强涉及人脸信息采集、使用的互联网信息服务提供者的监管工作，依法依规对采集、存储、使用、销毁等关键环节的制度、技术进行执法检查，帮助企业提升安全合规能力。