10分钟430万人被骗期间，“AI诈骗正在全国爆发”的话题多次冲上微博热搜。
就在上个月，企业老板郭先生突然收到朋友发来的微信视频，称急需430万元。看着视频中的朋友一脸焦急，郭先生没多想就把钱转了过去。整个过程不到10分钟。事后，郭先生才发现自己被骗子用AI变脸技术骗了。
今年2月以来，AI相关技术日新月异，副作用日益显现。Deepfake是一项人工智能技术，可以让视频中的人物改变面部和声音。有人用它来骗人，有人用它来把自己主播的脸换成明星的脸来赚钱，有人用它来变脸，“造谣黄”。
可能很多人没有意识到问题的严重性，认为技术还没有成熟到可以作弊，存在“侥幸”心理。5月31日，深燃直播工作室邀请瑞来智慧联合创始人、算法科学家肖子豪和徐莉反诈骗团队负责人徐莉展开了一场主题为“如何识别ai诈骗”的对话。
两位嘉宾，一个懂技术，一个懂反向传播，两种完全不同的视角，却有着“反欺诈科学”的共同目标。他们就AI诈骗的主要手段、哪些人更容易被AI诈骗盯上、普通人该如何防范AI诈骗等与生活息息相关的话题给出了非常实用的建议。
任何技术都是一把双刃剑，既能推动社会进步，又能挖掘人性中隐藏的恶。任何技术都应该在可控和监督的范围内发展。如今，AI的浪潮已经吞没了我们。为了更好地应对它，我们应该首先了解它，从中吸取教训，然后依靠全社会的力量来与它的阴暗面抗衡。
以下为现场实录，由深燃编辑:
01
AI诈骗，为何屡禁不止？
深燃:利用AI技术造假是今年唯一的套路吗？
徐莉:早在2019年，微信微信官方账号，打着AI算命、AI算命旗号的小程序或者app，曾经非常流行过一段时间。本质上，他们通过诱导分享和发展用户来吸引资金。
这两年我们看到一些微信业务团队发布名人祝福/宣传视频发展线下。这些视频很多其实并不是名人录制的，而是利用AI变脸、AI语音合成等技术制作的。很多人信以为真，选择加入，最后陷入骗局。还有一些人利用AI生成图片/视频进行裸聊诈骗，让受害者下载app然后复制他们的手机通讯录，然后以此作为要挟勒索，很多人中招。
深燃:AI诈骗的常用手段有哪些？
徐莉:第一种是AI语音合成，骗子给受害人打骚扰电话，提取受害人的声音，然后合成语音素材进行诈骗。比如某公司财务人员小王，有一次接到领导电话，让他马上转账2万元给供应商，理由是逃避缴纳滞纳金。因为领导的声音很实在，小王在一个小时内就完成了转账，后来才发现被骗了。
第二种是AI变脸。骗子会先根据受害者在社交平台发布的照片或视频信息生成一张假脸，然后在视频通话中使用AI变脸，骗取受害者的信任。被骗430万的郭先生就是这样被忽悠的。
三是AI筛选受害者。骗子根据要实施的骗术，通过AI技术筛选目标人群，短时间内制作定制化的诈骗脚本，实施精准诈骗。比如情感诈骗的骗子会筛选经常发布情感信息的人，金融诈骗的骗子会筛选经常搜索投资理财信息的人。
深燃:2018年，一段奥巴马骂特朗普的视频在美国疯传。后来证明这个奥巴马是用深度伪造技术做的。时隔五年，用于AI诈骗的技术升级了吗？
肖子豪:AI造假背后的技术已经迭代了五年，相比2018年有了明显的提升。
比较维度是更高的保真度。现在的AI造假，不仅可以生成更真实的人像，还可以生成更真实的场景。比如前段时间网上疯传的特朗普被捕的图片，其实就是AI生成的，因为太逼真了，肉眼无法识别，会产生误导。
比较的另一个维度是成本更低。早些年，犯罪分子想获取被害人的声纹信息来伪造音频，需要几分钟的声纹素材，需要通过制作骨灰来获取信息。但最新技术合成声纹材料只需要几秒钟，诈骗团伙就可以通过打骚扰电话成功窃取相关信息，哪怕说两句就挂了。
深燃:AI变脸和AI变声技术需要素材进行训练，那么这些素材从哪里来呢？
肖子豪:获取这些资料通常有几个渠道。一种是受害者自己主动公开，比如在朋友圈或其他社交媒体发布照片、视频等信息。此外，骗子还会主动收集相关信息，比如骚扰电话，获取证件信息(学生证、身份证、驾驶证)。
深燃:AI造假成本高吗？是不是比大众想象的要低？
肖子豪:成本分为三类。第一类是获取私人数据的成本。第二类是AI建模和训练生成假声音、假人脸、假视频的成本。第三类是与受害者取得联系的成本，包括盗取熟人的微信和电话号码。第三种方式比较传统，AI技术的发展是为了降低前两种的成本。
目前有很多开源算法可以生成假视频，特别是骗子打视频电话的时候，不需要太清晰的像素和太亮的光线。“几张图片素材+开源AI算法”已经可以做出一个“可看”的AI诈骗视频，门槛相对较低。
02
AI诈骗成功率极高。普通人应该怎么“杀”？
深燃:之前有报道称AI造假成功率几乎100%。为什么这么高？
徐莉:首先，骗子非常善于把握受害人的心理，主要分为几类:一类是虚荣心比较强，比如爱在朋友圈或者短视频平台晒日常生活，甚至炫富，这给一些骗子收集个人信息、精准诈骗带来了机会；一个是很多人信任熟人，爱面子，不好意思拒绝，更不好意思多方查证，落入骗子的圈套；还有一些人爱贪小便宜，爱猎奇求美，容易陷入裸聊、杀猪板等诈骗陷阱。
其次，这种骗局善于利用受害人的熟人关系。不法分子会提前研究受害人的私人关系和朋友信息，尤其是领导、亲戚等不易拒绝的关系，然后制作专门的诈骗脚本，再通过AI技术骗取受害人的信任，让人放下最后一道防线，乖乖转账。真的是防不胜防。
深燃:哪些人更容易成为AI诈骗的受害者，这些受害者的共性和特点是什么？
徐莉:不要以为你不会被骗，但是适合你的剧本还没有出现。
当一个人独自面对诈骗团伙的精准布局和技术打击时，所有的智力和智慧都显得非常薄弱，中老年人更容易上当受骗。一方面，他们对互联网诈骗并不熟悉，存在认知盲区。另一方面，骗子喜欢利用对孩子的担忧制造一些假象，比如生活费、医疗费等。诈骗成功率挺高的。
还有一些人平时不注意培养防骗意识，也容易上当受骗。我们团队发现，只有被骗过的人才会关心防骗知识。没被骗过的时候，你会觉得这些东西离你很远。殊不知，下一个骗局可能会针对你。
深燃:之前有警察教了两个识别AI变脸的技巧。你可以让对方把一根手指或其他物体放在脸前来回移动，或者让对方把脸向左或向右转，看看他的侧脸是否扭曲。普通人如何用肉眼识别AI诈骗？
肖子豪:就目前AI伪造的水平来看，他们还无法生成有遮挡和人脸偏转的毫无瑕疵的视频效果。我觉得让对方开口也是比较有效的方法。比如看对方的牙齿结构是否清晰，舌头的形状是否完整，很多犯罪分子可能只考虑建模前脸，而不考虑嘴、牙齿、舌头。但是你还是需要有防骗意识，才能要求对方做这些动作。
徐莉:诈骗通常是有剧本的，所以要“逆着剧本走”，问对方一些私人问题，跳出骗子的剧本。此外，AI制作的视频还存在一些不完善的地方，比如瞳孔呆滞、手背和手指与身体比例不协调等。，这样我们就可以检查图像质量是否存在模糊失真或高噪声。
深燃:普通人面对AI诈骗需要采取哪些防范措施？
徐莉:当涉及到钱的时候，你可以通过电话和视频来确认对方是不是你。汇款前，一定要确认对方提供的账户在你名下。如果要求向陌生账户转账，要小心谨慎，避免通过微信等社交软件转账。还要保护好个人信息，不要轻易接陌生人的电话，不要点击短信链接，不要下载来历不明的app。另外，要拒绝诱惑，警惕陌生人的“无事献殷勤”。
肖子豪:我们需要小心所有允许你自拍和录音的软件，我们也需要小心所有可以访问你的相机、麦克风甚至相册的软件。
深燃:孩子应该如何有效地给父母打疫苗？
徐莉:第一，要提醒家里的老人，在转账汇款的时候要多做核实，不要相信对方所说的紧急或者优惠条款，要三思而后行。第二，为老年人普及防骗知识，加强识别诈骗伎俩的能力。第三，我们可以帮他们下载国家反诈骗中心APP。对于一些不会玩智能手机的老年人，我们建议他们不要在微信支付宝绑定银行卡，只存少量零钱，尽量不要开通网上支付业务。
肖子豪:下载国家反诈骗中心APP还是挺有用的，相当于国家帮助降低了诈骗风险，可能比小孩子的劝说更有用。在此基础上，子女一定要多陪陪老人，多关心老人的身心健康，多和父母保持联系，以便在必要的时候可以来找你。他们也有自己的获取信息的圈子。在沟通过程中，他们可以转发更多自己信任的媒体发布的反诈骗信息，有助于他们更快地消化这些信息。
03
AI是一把双刃剑，我们要正确的与AI相处。
深燃:除了诈骗，AI技术还用于哪些违法行为？
徐莉:之前有些骗子把脸AI换成某个明星，开直播引导粉丝刷礼物，或者把主播AI换成杨幂和迪丽热巴带货，会有侵犯肖像权的风险。
但是，在这种情况下维权一般比较困难。由于使用AI变脸技术直播的人不会直接提及相关明星艺人的名字，后续可能会采取关闭直播、删除链接等措施，导致无法固定证据，难以锁定网络信息匿名发布的源头。
还有一种情况是有人用AI变脸，“制造别人的黄色谣言”。遇到这种情况，要保持冷静，尽可能收集相关证据，尽快向公安机关报案。
深燃:作弊者的手法越来越高明，但魔高一尺道高一丈。现在有哪些技术可以用来打假？
肖子豪:有几种公认有效的技术可以降低诈骗带来的风险，虽然可能不能100%的消除每个个体被诈骗的概率。
第一种是利用检测技术检测这些图像和视频是真实拍摄的还是AI生成的。第二种方法是水印。当每个软件生成一个虚假的AI图片/视频时，都会被打上一个直接链接到这个软件的水印，可以帮助我们追溯AI造假视频的来源。警察去取证，只要他拿到这个视频，就可以从中提取水印，获取犯罪团伙的相关信息，间接降低了被骗的风险。
深燃:科学家在研究AI技术时会预设AI被滥用的场景，开发反滥用功能吗？
肖子豪:整个AI技术浪潮中有两大角色，一个是研究者的角色，一个是用户的角色。一般来说，前者的技术取得突破后，后者应用的作用就会跟上。一个非常典型的例子就是OpenAI先做了ChatGPT，然后ChatGPT应用到各行各业。
OpenAI的CEO也承认ChatGPT的影响已经远远超出了他的想象。这也就不难理解，研究者可能没有足够的精力和时间去想清楚所有可能的负面影响，很多事情可能在大家还没准备好之前就已经开始发酵了。要防止技术的滥用，需要国家监管部门和社会各界共同努力，通过向善的价值观捍卫技术，这将是一种治理和发展同时推进的状态。
深燃:在政策层面，是否已经开始对AI的滥用进行立法？
徐莉:为规范人工智能发展，2022年11月25日，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度融合管理规定》，自2023年1月10日起施行。其中需要提供诸如智能对话、合成语音、人脸生成、沉浸式模拟场景等服务。凡产生或显著改变信息内容功能的，应当显著标明，以免公众产生混淆或误解。任何组织和个人不得通过技术手段删除、篡改或隐藏相关标志。
今年4月11日，国家网信办起草了《生成式人工智能服务管理办法(征求意见稿)》，提出AI内容必须真实准确，其中也明确提到，禁止非法获取、披露和使用个人信息和隐私、商业秘密。所以国家立法应该越来越完善，一些短视频、直播平台也应该承担社会责任。
深燃:这些AI拟声词工具、AI视频工具、AI变脸工具有没有积极的落地场景？
肖子豪:落地场景很多。一种是短视频平台上的人脸特效，利用换脸或减龄等算法增加用户体验；一个是语音助手和地图导航；一种是更换不方便出演影视剧的演员的面孔，减少前期投入造成的损失。当然，也有人自愿为自己制作虚拟形象，比如一些讲师或者客服，以降低录制视频的成本，提高与客户互动的效率。
深燃:AI技术的进步会对反欺诈行业产生什么影响？
徐莉:人工智能技术在反欺诈领域的应用越来越深入。当我们制作反诈骗短视频时，可以启动虚拟主播，或者使用AI语音生成器将文本和语音相互转换，从而减少工作量。现在很多反欺诈平台都试图通过技术手段识别AI生成的图片和视频，从而更有效地检测欺诈行为。
04
用户交互
问:如何识别语音诈骗？
肖子豪:你可以让对方一边说话一边打响指，或者一边说话一边拍手。这些AI模型之前可能没有考虑过这种情况，会有一些瑕疵。这种方法和上面说的用手指遮住脸的原理非常接近。
问:为了跳出骗子的剧本，可以问骗子哪些具体问题？你能举些例子吗？
徐莉:多问问你们最近在网下见面时发生了什么。例如，你可以问“我们上次见面是什么时候？”如果你不在社交网络上提供这些信息，对方就不知道该怎么拿。此外，还可以编造谎言或者用虚假信息询问对方，看看对方如何应对，可能会让对方无法应对。
问:在文字、声音、图像、视频相继被打破的今天，如果AI技术继续不受控制地发展，是否会导致现有社会关系信任的崩塌？
肖子豪:大众的共识是“眼见为实，听觉是空的”，而恰恰是这种AI伪造技术颠覆了这种常规认知，在不断挑战我们的社会秩序。不过，至于信任会不会崩塌，我没那么悲观。我相信我们可以找到一种方法，让整个社会秩序在新的治理体系下运行，让AI技术在提高生产力的同时，把风险控制在安全的范围内。这可能需要大家共同努力。"