Facebook AI是怎么将恶意发言者踢出群聊的？

编者按：本文来自微信公众号“将门创投”（ID:thejiangmen），36氪经授权发布。

From: Venture Beat；编译：Iris

Facebook AI在2020年第一季度删除的仇恨言论内容占总删除言论数量的88.8%，高于上一季度的80.2%。Facebook执行官将这种增长归功于XLM等语言模型的改进。其中的仇恨meme数据集用于评估消除仇恨言论的模型的性能，并对多模态学习模型进行调试，它从多种媒体端输入，以辅助多模态推理。

不过，AI并不能解决所有问题。人类仍将在无限的未来中参与到言论管理体制中。本质上，它们都归咎于日常的沟通问题，单凭AI无法完全剔除掉不合适的言论，尤其是在这些言论都在底线上打擦边球的棘手情形中，AI的力量可能不及我们想象得强。但Facebook的部分成功标示着，我们可以用AI把这达到数十亿数据样本规模的难题缩减为一些易解决的小任务。

什么是meme？

——它是抽象的文化基因，类似于表情包段子，

将网络上流行的、有趣的笑点夹杂在一起，

通过拙劣模仿流行文化，加以牵强附会的幽默，

以图片/视频+文字的形式

将这种幽默感呈现出来。

比如风靡全球的doge图就是经典的meme例子：

给画面中的元素配上看似不相干的文字内容，

从而赋予其荒诞不经的新语境，

正是meme搞笑的精髓！

?恶意meme被予以警告处理⚠️

Facebook AI公布了从美国Facebook公共群组中收集的含有10,000个恶意表情包段子的数据集，他们将它起名为“仇恨meme数据集”。这个数据集用于评估消除仇恨言论模型的性能，并对多模态学习模型进行微调。它能从多种形式媒体端输入，以衡量多模态推理成果。目前，最精确的AI驱动的多模态模型(Visual BERT COCO)的准确率达到了64.7%，而人力员工在数据集上的准确率达到了85%，这也反映了数据处理的难度。

数据集中最常见的不良文化基因(meme)以种族和性别为主。这类meme或引用负面的刻板印象，或使用嘲弄性的仇恨言论，给用户造成了不良观感。

Facebook AI的人工示例显示，

"良性言论"和"良性图片"在发生交集后可能反而产生嘲弄性效果

Facebook多年来一直在开发SimSearchNet，它是一个卷积神经网络，用于识别重复的或者不可信的内容，在上个月就有5000万篇帖子因内容问题而被贴上警告标签。计算机视觉检测工具还被用于自动检测和过滤Facebook所不允许在其平台上发布的其他产品的广告。

多模态学习模型成为大热点

Google AI首席执行官Jeff Dean称，多模态模型的升级也是2020年的一种发展趋势。事实上，多模态学习已经被用来自动评论视频和识别标题图片，像MIT-IBM Watson实验室的多模态系统也在应用NLP和计算机视觉来提高AI系统视觉推理能力方面大显神通。

用来检测仇恨言论的AI Rosetta甚至能看懂表情包

为了克服处理meme数据库时可能碰上的授权问题，Getty Images APi照片被用来替换背景图像并创建新的健康meme。人力检测员需要验证新的meme是否保留了原meme的含义，同时剔除掉了不良内容。

一些恶意的meme数据集还通过混淆恶性和良性内容来蒙混过关，这些meme的意义会根据meme文本背后不断更改的图片而发生变化，这意味着Facebook AI需要持续跟进每一个可疑meme的后续动态。

仇恨言论的蔓延涉及到敏感的社会问题，要完全解决它需要配以改进机器学习系统的能力。对meme仇恨言论的检测需要触及到任何微妙的数据线索，一些与特定文化相关的当地meme数据集需与世界共享。

正常的meme

不良meme

计算机视觉推理能力的上升可以帮助AI更准确地检测仇恨言论，并确认meme是否违反了Facebook的政策。即便是已被判定良好的多模态系统也可能包含有Facebook所禁止的恶意言论，到了这个阶段，AI的meme检测能力或许就比不上人力检测员的能力了，他们能联系上下文，甚至从一个简单的emoji或者缩写中推出写作者的深意。

快速检测仇恨言论也符合Facebook的经济利益。欧盟监管机构多年来一直敦促Facebook采取更严格的言论管理措施，德国议员便通过了一项法律，要求用户超过100万的社交媒体公司迅速删除仇恨言论，否则将面临最高5000万欧元的罚款。

各国政府已敦促Facebook调整内容，以解决恐怖主义宣传和干预选举等问题，尤其是在剑桥分析公司(Cambridge Analytica)丑闻引发强烈反弹之后，这个问题再次登上了舞台。Facebook及其首席执行官马克•扎克伯格承诺将进一步智能化言论管理体制，承诺给予用户一个更加清净的社交环境。