案例简介

上海音智达信息技术有限公司应用飞桨提供的PaddleDetection开发套件，基于视频流数据实现了对净化间穿戴检测、到岗/离岗检测、疲劳检测等功能，并在客户方成功上线，推理速度和准确率满足上线要求。

相关产品

PaddleDetection

合作伙伴简介

音智达（Advanced Analytic Service）是一家专注于帮助企业做数字化转型与数字驱动管理的大数据公司。公司提供基于大数据技术的预测性分析及商务智能解决方案，大数据软件产品，和大数据SaaS应用和DaaS服务。公司总部位于上海，运营遍及大中华区。音智达为亚洲地区数以百计的跨国企业及本土客户提供数据服务，拥有丰富的数据分析与业务实施经验，在生命科学、快消品、汽车、零售、电子消费产品、金融、保险、以及运输行业享有众多实践成功案例。

业务挑战

在工业制造现场，人员安全及行为规范有比较明确、或者非常严格的规定，例如在清扫化学药品时是否穿戴防护服、操作设备时动作是否规范、在岗或者离岗是否为疲劳工作。使用计算机视觉技术实现工作服穿戴检测、员工到岗和离岗检测、员工疲劳检测等人员管理的场景AI化，可以帮助客户实现提升工厂人员管理效率和降低企业管理成本。

市场上现有的解决方案主要有两种，一种是以智能硬件为主的硬件设备，这种方案无法满足定制化的场景，因为每个工厂或者每个车间现场的环境及规则都不太一样；第二种方式是比较通用的AI能力平台，或者是AutoML平台，这种平台需要业务方或厂商有一定技术背景、技术能力。以上两种解决方案，目前均无法在业务现场很好的落地。

通过分析客户的业务场景，大致可分为以下三类：第一类是穿戴监测场景，即在净化间里面监测是否戴口罩、戴面罩或穿防护服等防护用具；第二类是离岗和到岗监测，主要判断指定人员有没有在指定岗位上，或者指定人员是不是离岗超过一定时间等类似场景；第三类是疲劳监测判断。

解决方案

针对以上几个共性问题，我们在设计架构上主要从三个方面考虑：一是可扩展性。作为试点项目，当前每个场景仅有一个摄像头，应考虑后期接入更多摄像头的可拓展性。针对这一点要求，每个场景模块需要进行独立开发，并对应一个单独管理的功能；第二是考虑到配置问题，希望能够进行集中配置。在开发时使用配置文件进行业务参数和规则条件的集中配置和管理；第三是与其他模型集成的能力。违规事件的记录出来之后，需要被类似于大屏显示系统等其他系统进行消费。

系统组成

系统组成上，主要分为四个层级，最下面是硬件层，这里涉及到GPU服务器，还有网络接入的硬件；再往上是操作系统层，主要是一些GPU支持组件；在这上面最主要的AI框架层中，使用了百度PaddleDetection预训练模型，最上面就是算法的一个应用。

数据工作

在数据层面比较重要的是考虑到数据闭环，待数据采集后进行标注时会有两个循环，一个是数据标注、检查修改到模型训练形成小的循环，主要用于改善数据标注质量；另一个是循环标注及模型训练、上线试运行、结果分析到Bad case收集，主要为了提升模型数量，刚开始数据收集的数量并不是特别够。

算法设计

从整体思路来看，把违规检测的问题分解成单帧图像物体检测问题与聚合到时间纬度的规则判断问题，主要包含净化间穿戴检测、离岗检测、化金穿戴检测、疲劳检测和到岗检测这五种场景。首先，我们使用的基础模型是YOLOv3增强版，考虑到实时性要求及GPU显存要求，五种场景跑在同一个GPU上面，GPU显存并不是特别大；第二点是规则引擎，首先考虑涉及违规规则定义。将业务规则转换成单帧物体检测的规则，如用边框的overlapping作接触判断；其次是单帧图像违规规则判断。当前这一帧是否产生违规行为，最后就是特定的时间窗口里面判断是否产生违规行为，以防止模型在一两帧里面做出误判；最后考虑希望快速开发出基准模型，在试运行的时候收集Bad case进行多次迭代优化。

首先很快速的进行Baseline的构建，我们技术路线在Baseline用的是比较主流，或者说是很直接的想法，通过物体检测之后进行接触判断，再应用我们的业务规则，最后得到一个违规事件的记录，快速建立Baseline。重点是对Baseline的结果进行分析之后做的一些优化措施，主要在净化间穿戴检测、化金穿戴检测、疲劳检测和到岗检测这四个场景里面做了比较多的优化措施，比如口罩检测这块，把口罩检测分为人脸检测和口罩检测两个任务来进行，还有在净化间穿戴检测时由于运动产生模糊问题进行数据分析工作，类似情况就是在分析问题时着眼于Bad case进行有针对性的分析和优化措施。

通过合适的时间聚合条件，将单帧违规信息聚合到事件维度，提高事件级别的识别准确率（precision），迭代期间模型试运行测试时，收集bad case数据，追加标注数据进行迭代训练。

上线后的效果如图：

价值成果

工厂人员行为智能监控系统，采用计算机视觉识别技术，通过监控系统将监控区域内的现场图像传回安保中心，有异常发生就会自动发出警报、并通知管理人员。此系统可以促进操作人员遵守工厂安全管理规定，确保自身安全。智能工厂安全监控系统提供防护服/防尘服穿戴检测、员工异常离岗检测、员工疲劳检测、员工到岗检测等监测功能。

工厂人员行为智能监控系统极大改善了工厂安全管理工作。以前我们的管理人员需要花费很大精力在员工的行为检查和教育培训上，但员工的安全意识在有检查时强，在检查人员不在时就会疏忽。每年都存在因为员工不遵守安全管理规定造成的损失。同时由于工厂人员流动性大，虽然企业在安全教育培训上的投入很大，但是效果不明显。

在上线智能工厂安全监控系统后，员工的安全意识大幅度提高；同时集成的邮件通知与现场报警功能使得管理人员可以抛弃传统的人盯眼看的监控方式，极大释放了现场人员管理的人力成本。未来，我们将考虑把该系统应用在更多的业务场景，来释放管理人员的精力，提升企业运营效率。