TikTok化身“正义判官”
出品 | 虎嗅科技组
作者 | 王欣
编辑 | 王一鹏
头图 | 视觉中国
继本周二向美国联邦法院提起诉讼后，TikTok 再度化身 " 正义判官 "。
本周四，TikTok 宣布将推出自动标记功能，以确保其识别 AI 生成视频的内容并得到相应标记。
值得注意的是，此前 TikTok、Facebook 和小红书等社交平台，已经要求用户主动披露所发布内容是否由 AI 生成。
而 TikTok 最新举措，旨在识别并自动标记出外部 AI 生成的视频和图像。（包括使用 Adobe 的 Firefly 工具、TikTok 自己的 AI 图像生成器和 OpenAI 的 Dall-E 制作的内容）
AI 安全公司瑞莱智慧联合创始人萧子豪告诉虎嗅，AI 生成图像视频内容鉴别技术的主流方法有：检测生物信号、周期性网格信号、违背常识特征等，目前技术在一些场景已经可以达到 95% 到 99% 的检出率。
有 AI 从业人员观察到最近的趋势是，包括 TikTok、OpenAI、Meta 等 AI 大小厂陆续上线 AI 标识相关功能。
这是因为 AI 深度伪造内容正在播下混乱的种子，在社交平台飞速传播。
这些虚假内容的泛滥，混淆选民视线，让这个大选年更加成为 " 多事之秋 "，也使得社交媒体面临识别深度造假和防止错误信息传播的压力。
AI 深伪内容搅动大选年
今年是选举历史进程的重要年份，在全球 50 多个国家和地区，有世界一半人口参与选举。相较去年，AI 深伪内容也变得更加引人注目和难以辨认，给大选年蒙上阴影。
一月，一名民主党工作人员深度伪造了美国总统拜登电话呼叫，这则 " 假拜登来电 " 敦促新罕布什尔州初选选民不要去投票站。
冒充拜登的电话呼叫内容为：把你们的选票留在 11 月份再投很重要。在这周二（23 日）投票，只会让共和党人得逞，让特朗普再次当选为共和党候选人。
在印度，今年有超过 5 亿选民将会参与投票，这使得 AI 深伪政治内容成了一门有利可图的大生意。
AI 内容制作公司在印度政治人士中颇受追捧。这些公司向媒体透露，预计今年印度政党在 AI 生成的竞选材料上的支出将超过 5000 万美元。
穆奥尼姆公司的创始人森希尔奈亚甘从一月开始为政治家创造 AI 内容。他与泰米尔纳德邦执政党合作，制作了一个 AI 视频，视频中该党已故的标志性领袖 M · 卡鲁纳尼迪被 " 数字复活 " 并为州政府背书。
AI 内容机构 Avantari Technologies 几乎每天都收到制作政治人物深伪视频的请求，出于道德层面的考虑他们拒绝了这些请求。
但这个选举季，仍有一些政治深伪视频在印度互联网开启了病毒式传播，比如著名宝莱坞明星阿米尔 · 汗批评莫迪的视频。
而深伪色情内容也被更多得用在女性政客身上，有专家称深伪内容的兴起，甚至可能会改变竞选公职人员的性别比例。
去年，孟加拉反对党政客鲁米恩 · 法尔哈纳就经受了这种人格诽谤，社交媒体上出现她穿比基尼的 AI 深伪照片。
在孟加拉国这个穆斯林占多数的保守国家，这张照片在社交媒体上引起了轩然大波，许多选民认为这张照片是真实的。
" 无论出现什么新事物，它总是首先针对女性。他们在每一起案件中都是受害者，" 法尔哈纳说， " 人工智能都不例外。"
AI 大厂拿起 " 雷神之锤 "
在全球范围内，AI 深伪内容不断增长，" 唯一阻止我们制造不道德的深度伪造品的，是我们的道德规范，" 相关从业人员告诉媒体。 " 但要阻止这种情况非常困难。"
这是因为包括美国在内的许多国家，并没有在国家层面针对这些内容采取监管行动。
在缺乏监管的情况下，Adobe、微软等 20 家科技公司自发达成 " 内容真实性倡议 " ( Content Authenticity Initiative ) 联盟，以控制深伪内容得扩散。
本周四，TikTok 表示将加入这个联盟，并计划开始对 AI 生成图像视频内容进行标记。该联盟将在 AI 生成产品中纳入内容凭证。
" 我们还制定了禁止未标记的真实人工智能内容的政策。如果真实人工智能（生成的内容）出现在平台上，那么我们将因违反社区准则而将其删除。"TikTok 运营、信任和安全主管 Adam Presser 表示。
Meta 本月早些时候表示，它将开始检测谷歌、OpenAI、微软、Adobe 和 Midjourney 插入的隐形标志物，为 AI 生成的内容打上 "AI 制作水印 "。针对不易识别的 AI 深伪内容，Meta 还表示，它正在开发深度伪造检测分类器。
在周二，OpenAI 也宣布加入这一联盟，并将元信息嵌入其图像模型 Dall-E 3 生成的所有图像。OpenAI 还表示，在视频生成模型 Sora 发布后，会采取相同的措施打上 AI 标识。
萧子豪告诉虎嗅，OpenAI 的 AI 标识技术，比较成熟的做法是在 AI 生成图像的头文件里添加相关隐藏字符段。
这种做法类似于在 AI 图像内部打上 " 看不见的水印 "，在传播前就打好了标签，用户肉眼不可见。好处是不影响观感，图片在上传到 TikTok、Facebook 等社交平台后可以很容易识别出来并自动标识。
之前较为传统的在图片右下角打上 "AI 生成标识 " 外部水印，虽然肉眼可见较为明显，但是如果通过截图完全可以去掉外部水印，进行二次传播。而要抹除 OpenAI 这种内部水印，则需要更为复杂的技术手段。
这种 AIGC 工具的标识方法成本并不高，但由于国外宽松的监管条件，因此除上文提及的大厂外，其他 AIGC 生成工具平台，并没有大规模针对 AI 内容打上 "AI 水印 "。
技术宅拯救世界
那么 TikTok 等社交媒体该如何检测这些没有提前打上 "AI 水印 " 的虚假视频和图像呢？
这就涉及到更为复杂的深度伪造检测分类。
萧子豪表示，针对这类无标识 AI 内容，目前有两种主流鉴别路线。
第一条，通过深度学习算法识别内容中违背常识的部分。例如，AI 深伪生成的人物可能有着与常人不同眨眼频率等生物特征，此外还可以依据光照不一致性、心率等特征判断。
英特尔实验室的 Demir 解释道：" 当你的心脏泵血时，血液流向静脉，静脉的颜色会因氧含量而改变。这个颜色变化对我们的眼睛是不可见的；我不能仅凭观察视频来看出你的心率。但这种颜色变化在计算上是可见的，从而可以检测出一个人是真实的还是合成的。"
这种方法需要给模型输入真实和 AI 生成的内容数据集，并在此基础上加入与常识有关的规则算法约束。而这种违背常识的视频，效果并不真实，实际上本身就很容易被人肉眼识别出来。
而对于效果较为逼真、人眼难以识别的 AI 内容，则需要引入第二条鉴别路线——识别对抗模型和扩散模型特有的信号特征。
目前，AI 图片生成模型应用较多的是对抗模型和扩散模型，而研究发现，它可能会在频谱上保留周期性网格状特征。
这部分是由于这种模型用到的卷积神经网络算法，会重复对整个画面进行信号处理，因此会保留周期性特征。
目前的趋势是：随着 AI 深伪内容技术的不断提高，深伪鉴别技术越发依赖第二种路线，这种路线对团队的人工智能理论研究和实践能力要求更高。
而在深伪鉴别的应用落地层面，国内要比国外起步早，技术也并不比国外差。
这是因为：AI 深伪技术主要应用于人脸，而国内的人脸识别应用较多，间接催生了深伪鉴别需求。因此国内深伪鉴别技术业务开展较早，积累也更好。而国外在 OpenAI 引领的 AIGC 浪潮开始后，才开始大规模关注深伪鉴别技术。
萧子豪告诉虎嗅：深伪鉴别技术需要突破的瓶颈在于算法理论和数据收集。
目前，AIGC 技术的飞速发展，使得 Sora 等新的 AI 生成内容工具和技术持续涌现，在 AI 安全的攻防层面也有了独特的张力，要求在防御层面要及时追赶最新的攻击。
因此要及时收集最新深伪技术数据，分析伪造方法的演化，提升伪造分析的能力，来不断迭代更新产品。
Tips：我是虎嗅科技医疗组的王欣，关注 AI 及创投领域，行业人士交流可加微信：13206438539，请注明身份。
