潮科技 | 索尼发布全球首款具有AI处理功能的智能视觉传感器

图 | MEMS

编者按：本文来自微信公众号“MEMS”（ID：MEMSensor），作者麦姆斯咨询，原文题目《索尼发布全球首款具有AI处理功能的智能视觉传感器》，36氪经授权发布，略有删减。

据麦姆斯咨询报道，近日，索尼（Sony）公司宣布即将发布两款智能视觉传感器：IMX500和IMX501，这是全球首款配备人工智能（AI）处理功能的CMOS图像传感器。该CMOS图像传感器自身集成AI处理功能，可以实现高速边缘AI处理和提取必要的应用数据。当使用云服务时，利用该传感器构建的视觉系统可减少数据传输延迟，解决隐私问题并降低功耗和通信成本。

索尼智能视觉传感器为广大应用开发者提供了研发配备AI功能的摄像头的机会，通过高速数据处理可实时跟踪目标对象，应用领域包括智慧零售、智能安防、智能交通及智慧工业等，并且有助于构建链接云服务的最佳视觉系统。

智能视觉传感器（左：IMX500；右：IMX501）

图 | MEMS

物联网的普及导致各种各样的设备都将连接到“云”，并且从这些设备获取的信息可通过云AI处理，这使得云信息处理系统的使用变得司空见惯。但是，在云中处理的信息量不断增加，带来了各种问题：数据传输延迟增加，阻碍了实时信息处理；将个人身份数据存储在云中，造成用户安全问题；云服务带来的其它问题，如电力消耗和通信成本的增加……

索尼智能视觉传感器由像素阵列芯片（感光功能）和逻辑电路芯片（包括计算和存储功能）进行3D堆叠而成，是全球第一款在逻辑电路芯片上集成AI图像分析和处理功能的CMOS图像传感器。其中，像素阵列芯片获取的信号利用传感器中的AI处理，无需高性能处理器或外部存储器，从而使边缘AI系统得以发展。该传感器输出元数据（属于图像数据的语义信息）而不是图像信息，从而减少数据量并解决隐私问题。此外，边缘AI可以为通用应用提供多种功能，例如具有高速AI处理的实时对象跟踪，也可以根据用户需求或系统使用位置等条件，通过重写内部存储器来选择不同的AI模型。

图 | MEMS

像素阵列芯片采用背照式（BSI）工艺，有效像素约为1230万，可在宽视角下捕捉图像信息。除了传统的CMOS图像传感器运算电路外，该逻辑电路芯片还集成了索尼专用于AI信号处理的数字信号处理器（DSP），以及用于AI模型的存储器。这种配置消除了对高性能处理器或外部存储器的需求，使其成为边缘AI系统的理想选择。

像素阵列芯片获取的信号先通过ISP（图像信号处理器）处理，然后在逻辑电路芯片上进行AI处理，提取的信息作为元数据输出，从而减少处理的数据量。另外，确保不输出图像信息有助于降低安全风险并解决隐私问题。除了传统CMOS图像传感器记录的图像信息外，用户还可以根据自己的需求和用途选择数据输出格式，包括ISP格式输出图像（YUV/RGB）和ROI（感兴趣区域）特定区域提取图像。

图 | MEMS

当使用传统CMOS图像传感器拍摄视频时，必须为每个单独的输出图像帧发送数据以进行AI处理，从而导致数据传输量增加，并且难以提供实时处理。索尼智能视觉传感器在逻辑电路芯片上执行ISP处理和高速AI处理（MobileNet V1的处理时间为3.1毫秒），从而在单个视频帧中完成整个过程。这种设计使得“在录制视频的同时提供高精度、实时的目标跟踪功能”成为可能。

图 | MEMS

用户能够将自己选择的AI模型写入嵌入式存储器中，并可根据用户要求或系统使用位置等条件对其进行重写和更新。例如，当在零售商场安装集成智能视觉传感器的多个摄像头时，应用可以横跨不同的时间、地点（环境）或目的。当安装在商场入口时，它可以用来统计访客数量；当安装在商店货架上时，它可以用来检测库存短缺情况；当安装在商场天花板上时，它可以用于绘制商店访客热图（检测客户聚集的位置）等。同时，用户可以随时改写这些摄像头中的AI模型，比如从“用于检测热图的模型”改成“用于识别消费者行为的模型”。

图 | MEMS

索尼智能视觉传感器关键指标：

图 | MEMS