发布时间：2024-12-15 18:34:22 来源: sp20241215
AI换脸骗局频现背后
中国新闻周刊记者 周群峰
发于2023.11.20总第1117期《中国新闻周刊》杂志
近日，在贵阳一家公司担任副总经理的孟先生急匆匆赶到招商银行贵阳高新支行，要求工作人员将60万元打到一个账户。
接待他的服务专员穆方琴向《中国新闻周刊》回忆，这名客户神色慌张地说，其公司董事长急需转一笔60万元资金，但不方便直接走款，便先把钱转给他，再由他转给领导指定的一个账户。
“领导说已经把钱汇给我了，因为银行系统滞后，要晚点才能到账。你赶紧帮我转过去，领导催着呢。”孟先生指着聊天记录里的一张汇款凭证催促道。
穆方琴接过手机，发现这张“汇款凭证”的画质有些模糊，盖章位置也不符合银行规定，便提醒他要谨慎。孟先生称，领导让他转账前，还特意跟他通过QQ打了视频通话。“视频和声音跟领导都对得上，难道还有假？”
穆方琴引导孟先生再次给对方拨通视频电话，接通后，她发现画面有些卡顿，对方不敢说话，还迅速关了视频。由于疑点太多，穆方琴提醒孟先生不要急着转账，可先与领导的秘书等确认下，避免造成个人财产损失。
几天后，该行收到了孟先生的感谢信。原来他经过核实发现，视频那头的人不是领导，而是不法分子使用了AI换脸技术。当这项技术日趋成熟，不仅仅应用在影视剧中，AI换脸诈骗案例也陡然增多。
被高仿的“领导、亲友”
孟先生所遭遇的诈骗陷阱被穆方琴识破了，但还有更多人陷了进去。
经过视频通话后，个体老板黄晓亮(化名)看到了对方的相貌，听到了对方的声音，逐渐消除了疑虑，他确信这位刚添加自己QQ账号的人正是自己的表哥，于是将30万元转到了对方指定的账户。
近日，山东济南商河县公安局刑警大队三中队中队长张振华向《中国新闻周刊》讲述了上述案件。
今年5月底的一天，黄晓亮在家浏览短视频App时，收到一条私信，对方自称是他的表哥、任某领导的马某。寒暄几句后，对方又让黄晓亮添加其QQ号，添加后，对方用QQ给他拨打了一个视频通话，7秒钟后，对方以“信号不好”为由，表示还是打字聊天方便。
取得黄晓亮信任后，对方表示因为自己是领导，不方便用自己身份信息将一笔65万元的款项转给某个账号，想让黄晓亮帮忙转款。为了表示诚意，对方还要了他的银行账号，很快将“转款凭证”发给了他。
黄晓亮看到凭证后，发现账号和名字都的确是他的，但迟迟未到账，就没有立即给“表哥”的账户转账。大约20分钟后，“表哥”给他发消息说，大额转款会有延迟，那边急着要这笔钱，问他能不能先垫付一下。
黄晓亮再次给“表哥”拨打了视频通话，接通后，对方称自己正在开会，声音很低，10多秒便挂断了视频。这次通话彻底消除了黄晓亮的顾虑。随后，他转出了30万元，对方收款后催促他继续转出剩余的35万。
被不断催促的黄晓亮再次起了疑心，他点开对方的短视频账号，发现该账号已被屏蔽。他给表哥打电话核实，才知道其表哥未提过转款要求，黄晓亮随后报警。
令警方意外的是，犯罪嫌疑人在收到黄晓亮转来的30万元后，在5分钟内便去黄金店完成了消费，时间之快超出了常人想象。
张振华告诉《中国新闻周刊》，在侦破过程中，他们咨询了很多技术人员，这种视频合成加实时通话的技术含量很高，很多公司的技术水平实际上达不到。
警方根据嫌疑人与黄晓亮网聊时的IP地址，判定该团伙在缅北实施诈骗、由国内销赃洗钱，是一起采用AI技术换脸冒充受害者熟人进行网络诈骗的案件。
张振华称，商河警方分两次去广东东莞将该犯罪团伙7人抓获。“他们反侦查能力很强，定期换宾馆，这些宾馆不规范，对实名入住的要求也不高。我们通过技术手段才锁定了目标。”目前，该案已进入审查起诉阶段。
近年来，利用AI技术进行诈骗的案例已在全国多地发生。
包头市公安局电信网络犯罪侦查局发布的一个案例称，今年4月20日，福州市某科技公司法人代表郭某的“好友”突然通过微信视频联系他，声称自己的朋友在外地投标，需要430万元保证金，且需要公对公账户过账，所以想要借用郭某公司的账户走账。
这位“好友”向郭某要了银行卡号，声称已把钱转入郭某的账户，并将银行转账截图发给他。基于视频聊天信任的前提，郭某并未核实钱是否到账，在大约10分钟内陆续转给对方430万元(涉案银行卡为包头市蒙商银行对公账户)后，郭某给好友的微信发了一条消息，称事情已办妥。但让他没想到的是，好友给他回复了一个问号。郭某拨打好友电话，对方说没有这回事。警方认定，对方通过AI换脸技术，佯装成好友对郭某实施了诈骗。包头市警银联动，成功紧急止付涉嫌电信诈骗资金330多万元。
浙江金道律师事务所律师夏文忠表示，这类涉及AI换脸的案件，通常是不法分子假冒被害人的亲友、相关领导等，伪造事实、隐瞒真相，使被害人陷入错误的认识，从而交付财物，涉嫌诈骗罪。还有的犯罪分子利用AI技术，刻录被害人的裸聊视频或伪造裸照，要求被害人交付财物作为不公开的代价，涉嫌敲诈勒索罪。
夏文忠告诉《中国新闻周刊》，在他代理的一个案件中，一名五大三粗的男子通过AI换脸，把自己变成了声音甜美的年轻女性形象，与被害人进行视频裸聊后，以将被害人的不雅视频、照片发给被害人朋友相要挟，敲诈被害人钱财。被害人先后给犯罪分子转账20万元。
在犯罪分子进一步敲诈勒索时，被害人无能为力，只得报警。经过办案机关的侦查，锁定了当时在缅北的犯罪团伙。经过劝投及相关措施，多数犯罪分子已回国主动投案自首。
郑州市公安局金水分局反诈大队民警李敏告诉《中国新闻周刊》，现实中有些不法分子骗术并不高明，甚至不需要借助AI换脸就可骗取钱财。
她在一次反诈宣讲时，一位听课者告诉她，自己的父亲是一位70多岁的农民，有一天，一个自称是当地县长的人添加他父亲微信，父亲点开头像后发现其和当地县政府官网上的县长头像一致，就信以为真。添加后不久，他父亲就被这名“假县长”骗走数万元。
李敏也曾遇到一个案例，一名领导干部收到一个陌生号码发来的短信，对方自称是这名领导干部的上级，因个人职务问题不方便直接转款给他人，就先把20万元转给这名被骗的领导干部，再由其代转过去。这名受害人通过QQ收到“上司”发来的“转款凭证”后，信以为真，将20万转到了不法分子指定的银行账号。
值得注意的是，大量AI换脸等电诈诈骗案例显示，领导干部已成为被冒充的热门对象。
在上述商河警方侦破的案件中，让警方印象深刻的是，在这些不法分子的电脑中，除了专门生成“转款凭证”的模拟器，还存了一些领导的工作单位、职务等资料。
李敏告诉《中国新闻周刊》，冒充领导诈骗的套路通常是，诈骗分子通过各种途径获得党政机关、企事业单位领导照片，或者使用领导的真实姓名作为微信名称，伪装成领导的QQ或微信，主动添加下属。之后，诈骗分子先以关心工作、生活、企业经营状况等话题拉近距离，获得被害人的信任，进而以正在开会、参加活动为托词，请对方帮忙周转资金或过桥转账，他们通常会伪造转账凭证，要求受害人尽快帮忙转账至指定账户。
“受害人由于敬畏，不好意思跟领导核实，或者因为是领导求助不好意思回绝，就会上当受骗。”李敏说。
她表示，在这类骗局中，很多不法分子开始通常是先发短信自称是行骗对象的领导或亲友，换了新号码让其保存一下，取得对方信任后再一步步实施诈骗。“这也提醒广大网友，收到一些陌生号码发来的这类短信，要及时核实对方身份。”
利益驱动下的黑色产业链
AI换脸技术并不是新鲜事物。中国科技大学公共事务学院、网络空间安全学院教授左晓栋告诉《中国新闻周刊》，这一技术最早要追溯到六年前。2017年12月，一个名为“DeepFakes”的用户在Reddit网站上发布了一个假视频，用一位知名演员的脸替换了一个色情片中女演员的脸，看起来几乎毫无破绽。因为这个用户名“DeepFakes”，“深度伪造”技术也受到了社会的强烈关注。
实际上，这项技术更准确的名称是“深度合成”，其具有很多正向的用途，一个常见的情况是用于影视行业。如《了不起的儿科医生》等，都在后期处理时用到了AI换脸技术；在《速度与激情7》未拍摄完成时，主演保罗·沃克去世，制片方用AI将其面部重现在了观众面前。
随着“换脸”“变声”等技术越来越逼真，一些不法分子开始将其用于诈骗。夏文忠表示，现在AI换脸已形成黑色产业链。上游不法分子通过AI技术生成图片，并对这些图片进行整合，打包成图集，通过成套售卖的方式出售给下游买家，甚至有的人还为此建立起“付费会员群”，使一些无辜人士甚至未成年人陷入“黄谣”漩涡。
今年4月，拥有近150万微博粉丝的网红“Caro赖赖”发文称，她被人用AI换脸后，陷入了黄色谣言的困境。她的脸被盗用在一些淫秽视频里。还有人在境外社交平台上冒充其身份注册了账号，搬运她的日常内容，等粉丝达到一定数量时，就开始以会员订阅方式贩卖这些被换了脸的色情视频。
浙江温州市公安局曾发布案例称，2021年拱宸桥派出所接到报警，受害人陈某称，他与女网友视频聊天后，被对方利用AI技术，将其面部合成到不雅视频中，借此对其实施勒索。
左晓栋告诉《中国新闻周刊》，AI换脸之所以形成黑色产业链，与其用于诈骗得到的高回报密切相关。《新京报》曾报道，可观的利益驱动着AI灰色市场的发展，有商家自称月收入高达20万元，商家宣称自己什么视频都能做，将一张脸换至色情视频里，也仅需150元每分钟。
随着互联网的发展，AI换脸技术也在网上售卖。《中国新闻周刊》记者在多个平台以买家名义咨询了多位做AI换脸视频的商家。一位商家表示，只要提供一张照片，花30分钟左右，就可以做成一个一分钟的视频，收费为100元。另一平台一位卖家表示，他们售卖一款换脸软件，价格为200元，使用期限为一年。为证明该软件效果，其还给记者发来了一段换脸后的短视频，“你如果对效果满意，现在想要，140元就可卖给你”。
央视《焦点访谈》报道，在公安部开展的“净网2021”专项行动中，合肥市公安局网安支队联手包河分局打掉一个犯罪团伙，该团伙利用AI技术，伪造他人视频，为黑灰产业链提供注册手机卡等技术支撑。犯罪嫌疑人电脑中有10G左右的人脸数据信息，这些信息在网上转手多次，而它们的主人对此毫不知情。
近年来，AI换脸技术也在更新换代，越来越逼真。
深圳市安络科技有限公司是第一批国家级网络安全服务资质企业和试点单位，公司主要业务为网络安全及政法业务，其中政法业务是为国内400多家公安机关提供反制新型网络犯罪技术支持，帮助警方开展打击电信网络诈骗工作。
该公司分管技术的副总裁肖坚炜告诉《中国新闻周刊》，现在用一台高配置电脑、几张照片，花一两分钟就可以合成一段10秒的换脸视频。投入更多的显卡算力资源，AI技术已经可以做到实时换脸视频通话，相似度可达80%以上。
肖坚炜说，AI换脸使用的“生成对抗神经网络”算法是公开的，网络上也有开源的算法代码，在其基础上研发一款AI换脸软件，根据优化效果差别，一到六个月可以完成。正规软件公司开发的AI视频生成软件会在生成的视频上标注“由AI合成”的提示语，而在暗网中销售的则不会，极易被犯罪分子利用。
“从法律层面来说，AI换脸技术会造成非法使用他人肖像、损害个人名誉和隐私等问题。但AI技术本身是中性且无害的，但背后衍生出的道德与伦理问题却相当复杂，一些新技术被滥用导致的后果更是难以预料。”夏文忠称。
如何根治？
早在2019年11月，国家网信办、文旅部和国家广播电视总局就联合发布《网络音视频信息服务管理规定》，明确指出，利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识，且不得利用该技术制作、发布、传播虚假信息。
2022年11月，由国家网信办、工信部、公安部颁布的《互联网信息服务深度合成管理规定》明确，不得利用深度合成服务从事侵犯他人合法权益等法律、行政法规禁止的活动，应用程序分发平台应当落实上架审核，服务提供和技术支持者应当加强技术管理等规定等。
2023年7月，国家网信办等七部门联合发布《生成式人工智能服务管理暂行办法》，其中规定，提供和使用生成式人工智能服务，应当尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益。
针对AI涉及的侵权和安全问题，近年来，我国在相关政策层面不断完善，但这类犯罪行为仍屡见不鲜。
今年8月10日，在公安部举行的新闻发布会上，公安部网络安全保卫局副局长李彤介绍，针对“AI换脸”导致群众被欺诈的问题，公安机关发起专项会战，侦破相关案件79起，抓获犯罪嫌疑人515名。“犯罪分子用于实施AI换脸的物料主要为照片，特别是身份证照片，同时结合人员姓名、身份证号来突破人脸识别验证系统。”
左晓栋告诉《中国新闻周刊》，这两年，国家制定了很多政策文件，规范新一代AI技术的发展。不过，对于利用技术从事违法犯罪的情况，还需继续加大打击力度。在这个问题上，还应当加强技术创新，特别是提升对伪造音视频的检测能力，目前来看，相关技术还不过关。
肖坚炜表示，面对这些风险，相关部门应进一步完善法律法规，严惩非法使用AI换脸技术的侵权和犯罪行为；相关科技公司也应制定伦理规范，对违规使用承担责任；社交媒体也可以通过给用户上传视频内容打标签等技术手段，提高普通人对于AI换脸视频的识别能力，“我们公司也正在研发更先进的AI识别算法和相应的技术反制手段，帮助公安机关有效应对不断翻新的电信网络诈骗”。
夏文忠告诉《中国新闻周刊》，这类犯罪查处的难度体现在两方面：一方面，犯罪分子的身份难以被确认，且很多犯罪分子身在国外，难以实施抓捕行动；另一方面，相关犯罪证据存储介质主要在网络服务器中，隐秘程度较高，获取难度较大，取证存在困难。
北京市社会科学院法治研究所副所长王洁长期从事反电诈研究。在接受媒体采访时，他指出，当利用AI技术进行电诈等行为已经发生，再去追究会面临难度。他调研发现，很多反诈警察花费大量时间和金钱后，往往发现犯罪源头在境外。这种情况下，不是所有受害人都能付出足够的时间、金钱和精力去追究侵权者的责任的。
“核心问题是个人信息保护。”王洁认为，诈骗事件背后都存在个人信息泄露的情况，随着深度伪造技术不断更新换代，保护人脸等个人隐私成为不可轻视的问题。因此公安机关在查案办案时，应该更加关注信息泄露的渠道，从源头治理。政府应该加强对个人信息保护的监管，而App开发商运营商等各环节也应该共同协力，在人脸信息的存储、读取、使用、清除等方面依法管理，促进企业个人信息保护合规自律。
夏文忠也特别强调，各网络平台对于AI换脸的应用应当担负起责任，“目前，推出AI换脸功能的平台以及允许AI换脸相关内容传播的平台，都应该加强审核，以避免AI技术被不法分子利用”。
《中国新闻周刊》2023年第43期
声明：刊用《中国新闻周刊》稿件务经书面授权 【编辑:于晓】