内容安全审核

常见问题

• 内容安全审核是什么？

  内容审核是指国家有关规定、公司企业相关制度要求，对网站所发布的内容进行检查和处理，检查的内容主要包含文字、图像、音频、视频、程序、游戏等。
   
  主要对包含色情、涉政、涉政敏感人物、图文违规、暴恐、违禁、广告等垃圾信息的文本、图片、音频、视频进行检测和识别，通过系统化的方式提供审核、打标、自定义配置等能力来保障企业内容安全。一方面为了净化网络，让人们在享受网络便利的同时，也是安全的。另一方面客户降低业务违规风险。一般公司产品包括图片审核、文本审核、音频审核、视频审核。
   
  大多数公司在搭建平台时投入太大的成本，一种是主动审核，使用AI和人工去主动审查用户上传的内容，对不良信息进行处理。另一种是被动处理，收到用户的上报和投诉，无论主动和被动，被处理的信息都会被收录系统，再有类似内容将直接屏蔽。平台运营公司应在所有细节上具备内容审查的能力，同时在系统中加入审查功能，为用户添加投诉按钮。
   
   

• 2、人工智能如何帮助内容审核增加准确性？

  人工智能已经被深入应用到了内容领域。人工智能能胜任基本的内容审核工作，依靠算法和深度学习等技术，人工智能完全可以通过对一些关键词的采集和分析来分辨有问题的内容；另一方面，则可能人工智能内容审核其实在平时就已经广被应用，早就经受过检验可以保证上岗就能发挥价值。通过人工智能技术，帮助平台完成内容创作、分发、审核及数据统计。
   
  人工智能的应用，大大提升了内容生产、内容审核、内容分发的效率，有效助力了内容行业的长期发展。3 秒可以生成一篇快讯、1 秒可以审核100 篇稿件、用智能分发之前平台每天曝光内容 5000 条，用 AI 之后曝光内容超过 120 万条的对比、使用智能推荐后人均时长提升 45%、点击率提升 19 倍，这些都是AI 赋能内容带来的具体的价值和收益。
   
  关键词拦截
  关键词拦截是最常用的人工智能审核方式，其运行方式是设置敏感词库，只要帖子中出现敏感词库中的关键词，机器就会被触发，从而自动拦截。
   
  黄暴图检测
  黄色、暴力图片是影响互联网环境的一大毒瘤，而且机器检测的难度较高，无法像文字一样通过关键词进行拦截。
   
  弹幕审核
  实时检测弹幕文本、保证网络直播间内容安全，降低业务违规风险。
   
  昵称注册
  网站的用户注册信息进行智能审核，过滤包含广告、反动、色情等内容的用户昵称。
   
   

• 3、内容审核的依据是什么？

  网站内容安全审核的主要依据自于法律法规以及互联网内容监管单位发布的相关审核要求，其次是网站从产品、运营角度出来所制定的平台运营规则。
   
  不管是什么内容的审核，都应该包含以下四个基础模块：机器审核、人工审核、用户投诉审核、结果复审。
  1、机器审核
  是按照制定好的规则或机器学习算法对内容进行审核。
  通常，成熟的审核系统能将95%甚至99%以上的内容都自动审核并做出处理。确定有问题的会被自动删除，难以判断是否有问题的会被标注，进入人工审核程序。
   
  2、人工审核
  虽然用户投诉审核和结果复审大多时候也是人工审核，但这里所说的人工审核，特指审核机器无法判别的内容，通常占平台内容数量的比例不超过5%。
  但对于一些大型的内容平台，绝对数量已经很多了。在内容爆炸的时代，我们看到许多平台在全国都有多个审核中心，每个审核中心的员工数量都成千甚至上万。
   
  3、用户投诉审核
  是前两者的弥补，有很多违规内容以前没有出现过;所以不在规则可以过滤的范围内，或者非常隐蔽，规则难以严格过滤。
  用户的投诉是发现新问题的重要渠道。通过知乎的危机事件，我们更应该重视对投诉的审核，并及时据此对机器审核做出补充。
   
  4、结果复审
  通常采取抽查方式，比如通过复审机器删除的内容，看规则或算法是否过于严格；比如通过查看人工删除和通过的内容，看员工的工作是否按要求执行；比如通过内容的整体巡查，看是否存在新的问题未被注意到。
   
  随着互联网用户的增加，中国互联网络信息中心（CNNIC）发布最新的《中国互联网络发展状况统计报告》显示，中国网民规模达到10亿，手机网民民规模更达8亿。网络的发展促生了网站信息审核工作的出现，并使其从辅助性工作成为一个专业性较强的独立工作，逐渐发展成为一个新生的行业。对于信息量较大的网站来说，信息审核工作成了了一个核心工作，整个网站的质量控制就由信息审核部门来进行把握。均不可或缺的需要大量的信息审核人员进行整个网站质量的监控工作，并通过信息审核工作来对整个网站的信息取向起到关键性作用。
   
   

• 内容审核的依据是什么？

  网站内容安全审核的主要依据自于法律法规以及互联网内容监管单位发布的相关审核要求，其次是网站从产品、运营角度出来所制定的平台运营规则。
   
  不管是什么内容的审核，都应该包含以下四个基础模块：机器审核、人工审核、用户投诉审核、结果复审。
   
  1、机器审核
  是按照制定好的规则或机器学习算法对内容进行审核。
  通常，成熟的审核系统能将95%甚至99%以上的内容都自动审核并做出处理。确定有问题的会被自动删除，难以判断是否有问题的会被标注，进入人工审核程序。
   
  2、人工审核
  虽然用户投诉审核和结果复审大多时候也是人工审核，但这里所说的人工审核，特指审核机器无法判别的内容，通常占平台内容数量的比例不超过5%。
  但对于一些大型的内容平台，绝对数量已经很多了。在内容爆炸的时代，我们看到许多平台在全国都有多个审核中心，每个审核中心的员工数量都成千甚至上万。
   
  3、用户投诉审核
  是前两者的弥补，有很多违规内容以前没有出现过;所以不在规则可以过滤的范围内，或者非常隐蔽，规则难以严格过滤。
  用户的投诉是发现新问题的重要渠道。通过知乎的危机事件，我们更应该重视对投诉的审核，并及时据此对机器审核做出补充。
   
  4、结果复审
  通常采取抽查方式，比如通过复审机器删除的内容，看规则或算法是否过于严格；比如通过查看人工删除和通过的内容，看员工的工作是否按要求执行；比如通过内容的整体巡查，看是否存在新的问题未被注意到。
   
  随着互联网用户的增加，中国互联网络信息中心（CNNIC）发布最新的《中国互联网络发展状况统计报告》显示，中国网民规模达到10亿，手机网民民规模更达8亿。网络的发展促生了网站信息审核工作的出现，并使其从辅助性工作成为一个专业性较强的独立工作，逐渐发展成为一个新生的行业。对于信息量较大的网站来说，信息审核工作成了了一个核心工作，整个网站的质量控制就由信息审核部门来进行把握。均不可或缺的需要大量的信息审核人员进行整个网站质量的监控工作，并通过信息审核工作来对整个网站的信息取向起到关键性作用。
   
   

• 网站内容审核的重要性是什么？

  国信网安作为专业的互联网内容安全审核供应商认为，网站内容审核的重要性主要取决于以下几个方面：
   
  1、严防网络信息犯罪，维护国家及社会安全稳定
  随着互联网的高速发展，互联网信息平台成为很多犯罪分子通过互联网来实施各类犯罪，包括违禁物品的买卖、违法服务的提供，群体事件的召集以及各类互联网诈骗等。严格控制互联网信息安全，及时处理违禁信息，为国家治安部门提供线索，成为网站信息审核工作的必要工作。
   
  2、确保网站信息质量，为网站发展提供保障
  通过对整个网站信息的控制，确保网站呈现高质量内容，不断提高网站的用户数量，提高网站用户的满意度，从而使整个网站价值得到不断的提升。
   
  3、不断发掘网站价值，反馈各类意见建议
  通过对网站整体信息持续性的审核，从中发现信息变化规律及各类特殊信息线索，为其他部门提供相关的数据基础，并且通过对网站用户的反馈信息进行分析，为网站发展提供最贴合实际的建议。
   
   

• 内容审核的四个维度是什么？

  1、关键词审核
   
  词语过滤的环节，关键词主要分为三类：
  1）禁止关键词
  只要匹配到这个词，内容就被自动删除或禁止提交。通常只有极少数词会被纳入禁止关键词，比如明确的色情、邪教以及广告的专属关键词。
  2）审核关键词
  这是最常见的关键词种类，只要匹配到就会自动进入后台进行审核，文章中的关键词会被高亮并罗列出来，有助于审核人员快速判断。审核关键词也应该尽量是专属关键词，以防止太多内容被拦截到后台。
  3）替换关键词
  在许多平台，我们会在文中看到莫名的号或字母缩写*，这可能不是文章作者写的，而是这个词被系统自动替换。平台不希望出现这个关键词，但用别的代替读者通常也能读懂。比如一些政治、宗教、不文明用语类词语，都有可能被自动替换。
   
  2、用户发布次数限制
   
  主要限制一名用户无限制地发送评论。
  对这种情况可以设置同一用户一分钟内最多发送一条评论；一小时内最多发送10条评论，一天最多发送三十条评论，评论次数如果超出时则弹出toast“发言太多累了吧，请休息下”的提示。
  其实这个限制上线后，发现发广告的人会不断注册新号来规避这个问题，后续可以考虑再加上。新用户需注册多长时间才可发布评论，或需绑定手机号才可以发布评论这些严格的条件。
   
  3、重复内容过滤
   
  这种一般都是对于发广告的。
  对比时去掉除汉字外的任何符号，如“抖丶音”、“快aabb手”，对比时用“抖音”“快手”；将评论与同一用户上条评论作对比，10个汉字以上的若与其中一条重复率达70%（20，60%；30，50%）则弹出toast“请不要发布重复内容”；同时将评论仅与评论库最近发布50条的评论作对比，20个汉字以上的若与其中一条重复率达80%则机审失败（30，70%；50，60%）。
   
  4、白名单用户，黑名单用户
   
  白名单用户、黑名单用户需要有个可编辑的后台，可随时增减；若同一用户一天内机审失败的评论超过10，则自动列入黑名单。
  白名单的用户不受发布次数限制，但内容需要检查广告词、敏感词、屏蔽词，如果一天内发布的评论超过10条机审失败，也自动列入黑名单。列在黑名单的用户发布评论时，弹出toast“您暂时无法发布评论”或机审直接失败。