大量简单、机械、重复的工作，完全可以通过人工智能技术进行一定程度的替代和升级。
文 | 冯立男 云拿创始人兼 CEO
整理 | 周效敬 编辑 | 燕子 排版编辑 | 小双
2022 年 8 月 27 日，以“双模•跃升”为主题的「2022 未来 CIO 数字峰会」在安徽黄山成功举办。来自全国制造业、房地产行业、零售行业、金融业等行业的企业 CIO、信息总监、IT 经理及数字化决策者齐聚一堂，共同探讨了对未来企业和未来 CIO 的思考，并就数字化浪潮下，企业如何在行业变革期活下来，活得更好建言献策。
在会上， 云拿创始人兼CEO 冯立男作了精彩的主题演讲，演讲题目是 “3D 机器视觉、深度学习和多传感器融合技术在医疗、制造业、零售行业的应用”。
以计算机视觉、机器学习为核心，精准识别顾客购物行为与商品信息，打造即拿即走、无感支付的新型购物体验。
如果我们深入每一个行业，会发现劳动者在从事大量简单、机械、重复的工作，这些工作完全可以通过人工智能技术进行一定程度的替代和升级。这样整个价值链运作会更加高效，从而可以解放劳动力，让他们从事更加有价值、有创造性的工作，提升从业者的幸福感。云拿做的是耗材或用品领用仓库解决方案，是对各行业价值链其中一个环节的优化和改善，在一定程度上也是对劳动力的替代和升级。
冯立男介绍了机器视觉、深度学习和多传感器融合技术等人工智能的发展现状及商业价值，分享了云拿人工智能技术的发展情况，以及在医疗、工业和零售行业的案例及应用。
上海云拿智能科技有限公司创始人兼 CEO 冯立男
今天很荣幸能在这里跟大家分享一些人工智能技术、物联网、大数据技术在相关行业的应用。
我们公司在上海，相比刚才介绍的字节跳动、阿里巴巴，云拿目前是创新创业型企业，公司目前有 100 多名研发人员，研发领域主要分布 AI、IoT，以及互联网、云、大数据软件等外部服务领域。
我本人技术出身，在上海交大读的是电子信息工程，之后去美国加州大学读了计算机科学博士，研究方向是人工智能，包括计算机视觉、机器学习等技术。我也在人工智能顶级期刊发表过关于 AI 的学术论文，2019 年因在创立云拿阶段取得了创新性突破，被财富杂志评选为“中国 40 位 40 岁以下的商界精英”。
人工智能技术可划分为机器视觉、深度学习和多传感器融合三个板块。
机器视觉：以 AI 四小龙为代表的人工智能企业发展日久，但过往很多技术停留在 2D 视觉的二维层面，即图像处理——给机器一张图片，让它去分析、理解里面的信息、语义，从中获得一些认知和洞察。最新一代技术是 3D 机器视觉，从自 动驾驶时代开始，人们就在用激光雷达一类的设备去感知这个世界空间里的人、物、场。
深度学习：它是 2013 年前后兴起的技术，作为对比，过往的老的机器学习技术更像是数理统计、数理分析的统计学。到了深度学习时代，神经网络的层次更多，更加丰富多元，可以进一步模拟人类大脑的运作机制。但是到目前为止，深度学习仍然只具备数据的“输入—输出”能力，不具备人脑推理、分析等更深层次认知的能力。
多传感器融合：传感器多种多样，它是整个人工智能系统的触点，可以从不同维度捕捉不同的数据，把这些数据输入到人工智能系统里面，作为数据的来源。
所以，把这三种技术结合在一起，可以为各行业创造很多新的技术、新的解决方案，形成一些颠覆式场景的应用。
这四个小视频里的人其实都是我本人。上面这两个是我们用 3D 视觉传感器实时把我自己重构到计算机里面，此时此刻我就坐在一个房间里，用一个毛绒玩具逗一只小狗，这个信息会实时同步到计算机里。上面两个视频里面，大家看到的是不带颜色的 3D 重构还原。
下面的小视频显示，我可以把颜色的信息也同步叠加在不带颜色的信息上面，在数据的还原维度上，除了深度的结构型数据之外，还可以还原颜色、材质、纹理等表面特征，可以从不同的角度实时查看我自己。
最下面是 3D 人脸识别技术，这个技术已经很普遍，手机解锁、家里的智能锁用的都是 3D 人脸识别技术。相对于 2D，它捕捉到的面部关键点更多，把这些关键点拼成一个脉视网格，每个人会有自己专属的唯一由小点组成的脉视网格，这就形成了大家唯一的生物特征。
具体使用时，我们会用到行业里面叫“TOF”的传感器，它跟激光雷达的区别是，它更便宜，激光雷达发射的是 360 度的激光，TOF 发的是红外线，但他们都有相同的功能——通过发出和返回的时间长短，来判断一个空间里人或者物体距离的远近、形态体态的大小等等。
通常在实际使用情况下，自动驾驶只用装一个激光雷达就可以，但是在医疗、零售等行业应用里，通常情况下我们会在一个空间里部署若干个 3D 视觉传感器，对整个空间进行实时的三维重构。
我们不需要借助人脸来判断这个人是谁，也不需要他外观的穿戴、衣着去分析跟他个人相关的信息。在接下来进行分析的过程中，我们会把这些表面的信息剥离掉，仅仅留下三维人的信息。
我们训练了各种行为姿态，研究识别的算法，所以可以判断出一个空间里这些人在做什么。比如静止站立、运动行走、蹲下、伸胳膊；与空间里的物体进行交互，比如拿起或放回。这些行为都会被我们的机器深度学习算法所捕捉和分析。
在制造业，可能涉及各种零部件，医疗行业也涉及各种耗材，关于物体品类的识别，我们是怎么做到的？我们自己研发了一款机器学习的盒子，我们叫物体学习机。它有点像大号的微波炉，当你把一个物体放进去之后，它就会旋转，然后从不同的角度提取该物体的几何 3D 特征。基于这些信息和数据，我们会给每一个物体训练一个日后可以用来做识别的机器学习模型。
所以，当我们在真实的生产环境里，无论是工厂领用的耗材，还是医院领取的止血棉，或是在零售商店里购物时，都可以通过这样的技术分析，判断和识别出与人交互的是什么物体。
如果我们深入每一个行业，会发现劳动者在从事大量简单、机械、重复的工作，这些工作完全可以通过人工智能技术进行一定程度的替代和升级。这样整个价值链运作会更加高效，从而可以解放劳动力，让他们从事更加有价值、有创造性的工作，提升从业者的幸福感。
我们公司做的是各行业价值链其中一个环节的优化和改善，是对劳动力在一定程度上的替代和升级。接下来分享下我们技术具体的落地应用。
我们做的是耗材或用品领用仓库解决方案。与大型仓储仓库不一样，它可能是一个房间，或一个几十平米到上百平米的空间。过往对仓库的管理靠手工登记，有的仓库甚至需要把钥匙分给若干管理员。当有人领料或领备件时，需要管理员到现场开门，耗材的管理也需要手工登记。
第一，管理员没法做到时刻在现场，大家的领料时间受到约束，无法 7×24 小时随时随地领料。第二，由于数字化或智能化程度不高，造成大量持续性耗材的损失。
第一，灵活，可随意部署。能适配不同科室、不同仓库空间的部署要求，最大化空间利用率和耗材存放密度，使寸土寸金的医疗仓空间能获得高效利用。
第三，使用极度友好，技术实现完全符合使用者操作直觉，新人能快速熟悉。
第四，易于运营维护，方案需保证 24 小时不间断的稳定运行，且运行中只需要极低的管理成本和资源消耗，减少非护理工时。
我们整个系统包含了软件、硬件和 AI 算法。这是我们后台系统的截图，左边是监控系统，右边是给运营人员管理的系统。左边系统实时在线监控，比如仓库里有 5 个人，我们就能实时呈现出这 5 个人此刻在做什么，他此时此刻在这个空间的什么位置，他在跟什么物体进行交互，交互是发生在几分几秒，这个都会实时记录下来。右边系统的功能是，每一笔领料、补料的过程和记录，都会自动存在系统里，日后复盘也非常方便，且实现了无人化、自动化值守。
在医疗领域，医院各个科室早晨要做手术，需要在高峰时段同时领用耗材，各科室护士都想快速领取耗材，所以会导致拥挤排队等待的情况，而且医院管理仓库拿钥匙开门的人都是高学历、高水平的医生，用这样的人去管理仓库，一定程度上也是人才的浪费。
而在无人值守仓库，领料只需 10 秒左右，这一过程会自动上传到系统里，哪个科室的谁领过几件什么耗材都自动化记录在案。领用仓可以用在各种场景里，大到汽车制造行业的备件，小到手机 3C 的芯片管理、元器件的管理，都可以应用。
除此之外，持续性的物料耗损也是让企业非常头疼的事情，过往的跑冒滴漏，大家不经意间造成物料损失还是蛮多的。 3D 视觉技术最大的好处，是可以做到人机协同。
现在有两种类型的人机协同：一种是机器做人看；还有一种是人做机器看。两者的区别是什么？机器能做大量重复的工作，但是机器没法保证 100% 的准确率。比如，硬质电路板这些输出物，上面滴的胶是否按照标准滴到规定的高度，还是需要人的肉眼去看，这些需要肉眼才能看到。
过往技术搞不定是因为 2D 视觉没有三维高低起伏信息，所以没有办法对高度层面进行很好地判断。而现在的 3D 技术可以做到人机协同。机器做完之后，把人的部分去掉，让机器视觉自动代替人去查看缺陷是否存在。
还有一种人机协同，比如人要把小螺丝拧到板子上，但是有没有按规定拧好，过往靠人盯人，现在也可以靠机器自动识别。因为我们有行为的判断，我们可以判断这个人拧了几下螺丝，有没有拧紧，拧没拧紧一定程度上很主观，但可以通过行为判断有没有按照要求去做。
这个是我们在上海红桥机场 2018 年开的无人零售的超市，当时一个网红去打卡。这个网红在门店里做了各种各样拿放的测试。我们这个门店有一个特色，你可以打开直接在里面吃了喝了，因为这样的行为已经被算法提前训练过，甚至你装在自己兜里、放包里都没问题。该技术可以用在仓里，也可以用在零售店里，实现无感支付。消费者购物很快，通过扫码或扫脸进去，随意挑选，挑选完之后直接离开。
该门店产生了大量的数据，这些数据可以帮助零售行业的价值链降本增效。过往的零售商很少有这个数据可以转化，比如，消费者进店离店，去过什么地方，看过什么商品，拿起放回什么，最后生成几笔订单，买了什么东西等。
我们认为，消费过程的转化漏斗，可以在每个环节进行精细化的优化。为什么能够优化？比如，通过在门店里装一些数字化的触点屏幕，我们可以给不同的人看不同的内容，每个人享受的都是个性化、精准化的营销。
我们帮上海老牌本土便利地郝德做了数字化的门店，完全无感支付，7×24 小时无人值守。有移动的，可以摆在户外，用 5G 技术做数据的传输，可以按季节的变换摆在不同的位置。
最近元宇宙虚拟人导购很火，虚拟人导购也是 3D 技术，我们把虚拟人 3D 技术跟门店 3D 技术结合在一起，用虚拟人代替真实的人去做营销、推广、推介，效果非常好。
目前我们业务大概分布在 14 个国家，除了中国本土在做制造业的升级，医疗行业的升级，零售行业的升级以外，也把这个技术输出到其他的国家。
除此之外我们还跨了其他的行业，比如教育行业，我们跟各种职业院校、高等教育学校一起打造 AIoT 实训基地，把智能零售仓或者门店搬到学校里，既可以买东西或领用耗材，也可以让学生自己研究里面的算法……
截至目前，我们已经陆续推出了无人零售、医疗仓储、教学实训、工业检测、烟草巡检、养老监护等 AI 数智化解决方案，为教育、烟草、文体娱、交通、养老等行业的智慧升级、降本增效提供了新的视角。未来，我们还将秉持着“科技重塑生活”的理念，让数字技术渗透更多行业、更多场景，成为提升从业者与受众幸福感的关键力量。
