幻影追踪 张文宏回应 AI 合成带货视频，记者调查 AI 换脸技术应用边界与治理

调查动机

著名的张文洪医生销售蛋白质棒？不久前，在视频博客作者发布的视频中，张文洪博士强烈宣传了一个蛋白质棒，这使许多网民相信它，目前售出了近1200件。

张文洪随后回答说，该视频是由AI制成的。 “发现这一点后，我立即抱怨AI合成视频，但是它的说法发生了变化，我最终没有能量。这些假的AI合成信息一次又一次地发生了，伤害了像蝗虫飞过天空一样的人。”

目前，所涉及的视频已从已发布的帐户中删除，该帐户已被该平台永久禁止。

AI面部交换技术的应用是什么？如何在互联网上打击并控制AI面部交换技术的非法行为？在这方面，记者进行了调查和访谈。

“我的父母，我现在在医院里，我急于用这笔钱。请再转移我的20,000元……”在视频中，女孩对她最近遇到的困难表示焦虑，向父母索要钱，她的语气真诚，她看上去几乎完美无缺。

随后，该视频的发布者发布了原始视频。在视频中，女孩只是在与正常观看相机的朋友交谈，她说的内容和表情与以前的视频完全不同。

事实证明，女孩从父母那里要求钱的视频是使用AI合成技术生成的视频。

随着AI技术的开发，AI面对面的图片和视频已成为流行现象。除娱乐外，很难区分真实和虚假，并且存在许多风险和麻烦。

《法治日报》的一名记者最近发现，在互联网上，人们不仅可以随意销售AI合成软件，而且是“手工教学”，从而使制作AI“克隆”视频的技术成为业务。有些人使用知名的视频和语音AI来综合新视频，并将其发布在简短的视频平台上以销售商品。更重要的是，滥用人工智能面部掉期技术已经走上了非法和犯罪活动的道路。

AI合成技术需要紧急加强。许多接受采访的专家建议改善立法，清楚地定义了深层合成技术的应用范围和法律界限，并完善了平台，技术提供商，内容生产商和用户的法律责任。同时，在各个方面和各个方面，建立了一个用于多个实体的协作治理的系统体系结构，并纠正和打击与AI相关的犯罪活动和网络黑色和灰色工业链。

“克隆”成为生意

该视频清晰，真和错

在上面使用AI合成技术生成的视频简介中，作者放置了诸如“ AI Clone”和“ AI Man”之类的标签。根据作者的说法，仅通过为视频提供清晰的脸和声音，就可以在短时间内生成与原始视频相似的新视频，并且您所说的文字可以由您自己编辑。

生成的视频中的自然形式和光滑的语言使一些网民称其为“可怕”和“很难说出真实和虚假之间的区别”。

记者检查了视频评论部分，并发现视频作者有一个“秘密代码” - 下面的一条消息是一些网民对现实技术的评论”+WEI 4聊天...教学，知道如何来”（中文字符和数字交替出现，使用，而不是聊天帐户，暗示将朋友添加到私人聊天中）。

记者遵循了提示，并添加了他的朋友，询问相关视频和制作方法。昵称“ AI小米××”立即回答：“想自己使用它还是直接由代理商赚钱？”

据他说，如果是为了进行自我使用，您可以为199元重新充电成为“ AI ××”（AI“ Clone”一代平台）的2年成员。您可以立即生成AI合成视频总共38分钟，并且使用次数没有限制。如果您支付499元人民币，则可以成为一名代理商，声称“享受您的第一个佣金的60％，赚取回购佣金的20％，并享受佣金招聘委员会的80％。”

几天后，当记者试图再次打开上述视频时，这表明“视频无法播放由于违规行为”，而违法行为的原因“被怀疑是高风险的项目/排水行为”。

“不是我在视频中在海滩上玩耍，而是我的数字人物克隆。如果您关注我，您可以自定义自己的数字人物，并轻松地实现视频流量的起始数量……”在社交平台和短视频平台上，有许多类似于AI数字人物和“克隆人”视频，这些帖子吸引了流量。

记者向博客作者咨询了生产AI数字人物的过程。博客作者在上一篇文章中清楚地说，“无费用”和“无钱要花”，但建议加入小组聊天以成为会员，他将在小组中发布相关的操作指南和课程。

此外，还可以在多个在线购物平台和二手交易平台上随意购买AI“克隆”产品。记者在在线购物平台上搜索了“ AI面部变化”幻影追踪，并表明搜索结果不存在，但是在更改了关键字“ AI Face Video软件”之后，许多此类产品立即出现，价格从几元到数百元。

记者点击了一种名为“ AI数字人类软件的产品短视频生产唇膏，用于口红图像克隆自定义的AI捆绑包”。在咨询了商店老板之后，另一方回答：“使用软件时，您可以上传自己的图像视频超过30秒钟，然后输入文本。我们××数字人类系统可以生成与口红相对应的视频，并为您的声音加以克隆，并且可以在2分钟内生成大约2分钟的订单，请在订单中提供服务。

另一方立即发送了一个定价为98元的订单链接，说这是购买该软件的每月卡，可以在30秒内制作32个视频：“短视频帐户维护一个月足以快速启动帐户。”

针对AI的非法“商机”

使用技术犯罪

除了直接销售AI面对面的技术外，有些人还针对AI“克隆”的非法“商机”。

不久前，在AI欺诈案中， 警方成功地追回了公民的830,000元欺诈。天津的公民李先生之前收到了一条短信，声称自己是李先生的部门的领导者，并要求他添加他的社交软件以详细聊天。

在加入朋友之后，他要求李先生以紧急情况和需要资本流动的理由将钱转移给他，并保证此后将退还这笔钱。另一方还主动调用视频。李先生看到“领导者”出现在视频的另一端，李先生立即放下了警卫，并在三笔交易中派遣了950,000元到另一方。那天下午，李先生在与他的朋友聊天时提到了这一点。他对此的想法越多，他就越觉得出了点问题，所以他打电话给警察。

收到警报后，天津警察迅速激活了与银行的连锁机制，并迅速对三张银行卡进行了紧急停止支付操作。该银行成功冻结了该案中涉及的83万元资金。

据负责此案的警察说，一些罪犯使用人工智能技术用成熟或亲戚的面孔代替其他人的面孔，假装是欺诈对象的重要亲戚，并使用视频或照片“骗取真实的人”来破坏欺诈对象的愿景，然后实施欺诈。

根据公共信息，有人使用AI在社交平台上改变面孔，成为富有的商人Jack MA。他连接视频以获得网民的信任。目标受众大多是中年和老年人，他们缺乏对人工智能的认识，然后以“做贫困项目”为由欺骗了钱。有些人假装在简短的视频平台上是演员金顿（Jin Dong），与中年和老年人联系，并诱使其他人以他们需要钱来拍摄的理由转移资金。

滥用人工智能面对面技术的事件发生了许多事件。

在这方面，北京航空和宇航学大学法律学院的副教授Zhao 分析，如果使用AI面对改变的技术出售商品和其他行为的行为，他人还会模仿其他人，除了在线侵犯诸如犯罪的犯罪行为之外，还可以根据犯罪行为侵犯犯罪行为，这可能是犯罪的犯罪行为。 法律。

“如果在随意出售AI合成软件的行为，如果在某些情况下，例如积极向罪犯提供相关的软件服务，则可能构成与罪犯的共同犯罪。” Zhao 说。

“如果使用AI面部交换技术来制造危险情况，灾难情况等，它也可能构成制造和故意传播虚假信息的罪行。”北京（上海）律师事务所数字情报建设委员会副主任Li Yue举了一个例子，说“西藏小男孩被埋葬在图片中”，尽管使用的AIGC技术不是深层的合成AI面对面交换，它也使用AI技术。据了解，肇事者已对行政责任负责。如果情况更加严重，则可能构成虚假信息的制造或故意传播的罪行。

Li Yue强调，首先，必须清楚技术本身是中立的。作为深层合成技术的特定应用，AI面部互换有被滥用的风险，但它本身没有“原始罪”。目前，某些平台上的个人“销售技术”行为教会其他人使用开源项目或某些应用程序，这实质上是利用信息的优势。但是，如果课程内容专门讲授如何突破深层合成应用的内容审查机制，则应拒绝。该平台可以通过流限制，警告，帐户冷冻等调节这些视频内容。

“尽管AI技术正在不断改进，但目前，如果您仔细观察，您仍然可以识别AI合成视频。” Li Yue说，AI合成的视频通常在面部细节上存在严重的缺陷：缺失的微表达（例如眼睛角的细纹，很难捕获在口腔的角落的抽搐），光和阴影不匹配（轮廓和阴影不匹配，与光反射法不符合光滑的光滑法），缺乏孔（孔）（孔），并缺乏孔，孔子，布鲁斯，布鲁斯，布鲁斯，布鲁斯（Blem）。就眼睛和表情而言，眼睛运动是机械化的（不连贯的旋转，异常闪烁的频率），面部表情很僵硬（Brupt 依，微笑中缺乏现实主义）。

Li Yue说：“运动过程中也将出现明显的问题，例如面部变形。观看手势也是一种相对快速的识别技术。长期以来，AI在处理人手（例如关节畸形）时会遇到许多问题。”

“根据我的观察，AI生成的发音通常更顺畅，更快，并且'u'u'u''，即'或其他语气单词或停顿。” Li Yue说，尽管声音克隆技术近年来取得了重大进展，但它几乎可以达到假和真实的水平。但是，如果仔细识别它，您仍然可以识别AI产生的声音。毕竟，到目前为止，还没有AI通过图灵测试。

改善立法并加强执法

公司注册内容识别

人工智能合成技术的广泛应用要求陪同法治。

to Zhao , my has made on AI , such as the " on the of Deep of " and the " for ", which in-depth to the main of , and users shall not abuse in-depth .

Li Yue介绍了我的国家在2023年发布了“对互联网信息服务的深入综合管理法规”，该法规已朝着对该技术的标准化管理迈出了重要一步。在人工智能的整个领域，我的国家还继续引入一系列相关法规，包括目前正在讨论的人工智能方法。

“目前，AI技术的竞争在世界范围内非常激烈，我的国家仍处于“追逐者”的位置，因此我们应该更深入地思考。因此，我们需要建立哪些人工智能法律制度。该系统不仅必须适应快速技术发展的需求，还必须适应快速的技术发展，还可以保护社会的公共发展，并促进竞争的人类竞争力的发展，以改善人工智能行业的转变，在转变中的发展，这是竞争的转变，它的转变，以及竞争的转变，在社会上的发展，这一发展是在这种发展，这是在这种发展中的发展。从“追逐者”到“领导者”，以便在全球AI发展模式中占据更加有利的地位。”李尤说。

接受采访的专家指出，使用AI合成技术准确打击非法和犯罪活动仍然存在一些困难。

Li Yue说，技术困难主要反映在匿名性，犯罪分子使用匿名身份和虚拟货币。很难获得证据，有必要证明视频的真实性，来源和目的以及跨境性质。一些犯罪工具或行为涉及海外。法律困难包括一系列长期的责任，涉及AI工具提供者，生产者和发射者；很难确定主观性，有必要证明肇事者知道他是非法的，并且具有很高的证据。

“滥用AI技术犯罪的滥用通常与传统的犯罪行为（例如电信欺诈，在线传播谣言等）结合使用，公共安全机构需要与主要的在线平台合作采取更直接有效的治理措施。” Zhao 说。

为此，他建议建立一个系统体系结构，以对多个主题进行协作治理：公共安全器官和互联网信息和信息技术，行业和信息部门共同执行该法律，并在各个方面和链接中纠正与AI相关的犯罪活动以及与AI相关的犯罪活动以及黑人和灰色的产业链；执法部门同时更新监管技术，以促进人工智能技术在刑事调查和其他领域中的应用，然后更加有效，准确地打击滥用AI犯罪；网络平台积极实施该平台的主要责任，与执法活动积极合作，严格实施网络真名系统和黑名单系统，并严格防止所有类型的罪犯通过更改帐户和登录来避免平台监督。

Li Yue建议，就立法而言，有必要清楚地定义深层合成技术的应用范围和法律界限，并完善平台，技术提供商，内容生产商和用户的法律责任。同时，我们将增加使用AI技术犯罪的刑事处罚，并改善AI合成视频的证据规则，以阐明其法律效果。

“在技术方面，我们为人工智能综合视频，开发高效且低成本的检测服务并向公众开放检测工具和可追溯性技术。使用水印技术来识别AI产生的内容以促进跟踪和标识。” Li Yue说，还可以建立AI企业档案系统以加强对企业资格，数据安全和算法透明度的监督。

Li Yue建议进一步加强平台的职责，并要求平台审查用户发布的内容并及时处理非法信息。制定AI行业的行为和道德规范，以促进行业自律和技术应用中的道德依从性。建立跨国执法合作机制，以共同打击跨境AI犯罪，并分享有关AI犯罪案件和犯罪方法的信息，以提高全球预防和治理能力。

“ AI技术的宣传和教育也非常重要。” Li Yue说，为执法人员和司法人员提供了AI技术知识培训，以提高其专业能力和执法效率。同时，通过媒体宣传，公众对防止AI犯罪的认识得到了增强，并且AI技术的基本知识和风险得到了普及。 （我们报纸的记者太阳天道）