购物不用排队结账？六张图看懂 Amazon Go智能购物，专利文件解密AI核心技术细节

编者按：本文来自微信公众号“新智元”（ID:AI_era），编辑胡祥杰、刘小芹、王楠，36氪经授权发布。

12月5日，亚马逊宣布将在2017年年初推出使用人工智能技术的线下零售商店Amazon Go，消费者可以直接走进商店，拿下货架上的货物然后离开，整个过程不需要排队结账。整个展示视频充满未来感。Amazon Go到底使用了什么技术？翻阅公司专利文件，可以看到RFID 和多传感器融合是关键。

亚马逊Go推广视频：1分钟，颠覆你对线下实体购物的认知：

几天前，就在亚马逊迎来可能是公司史上最大的 Holiday Season时，亚马逊发布了一段介绍旗下新的零售商店 Amazon Go 的视频，消费者可以直接走进商店，拿下货架上的货物，然后离开。整个过程不需要排队，也不用结账。

《福布斯》的记者 Ryan Mac 说：“这看起来非常有趣，充满了未来感，但是，至少目前为止，这一切还都只是宣传。”

每年从感恩节到圣诞节的长假中，亚马逊都会成为媒体上的最大赢家。2013年，Bezos 接受了曝光率很高的《新闻 60 分》访谈。在节目中，他对一个用无人机送货物的项目狠狠地进行了嘲笑，一时间名声大噪。2014年，有大量的报道是围绕亚马逊即将推出的仓储机器人Kiva。2015年12月，在美国线上购物节 Cyber Monday 到来之前 ，这家总部位于西雅图的公司展示了更新版的飞行快递机器人的Demo。

今年的12月，亚马逊通过上面这段新的视频向外界承诺，将在“2017年年初”推出第一家Amazon Go零售店。不过，除去炫酷的推广视频，关于这家“未来化的”零售店，亚马逊所提供的细节非常少。

目前为止，所有的公开信息都来自亚马逊官方网站的“问答”页面。据介绍，零售店面积将达到1800平米，主要销售快餐、知名品牌和亚马逊自己生产的预包装餐饮套装，允许消费者直接使用智能手机和 Amazon Go 应用程序进出。顾客只需在商店入口处打开 Amazon Go 手机 app 扫描一下，然后进店随便逛，拿走任何喜欢的东西，然后直接离开。不需要结账，不需要用卡付款，也不需要装袋。

《福布斯》称，亚马逊在这个时间点发布 Amazon Go，将会让他们获得在圣诞购物节期间所希望得到的东西——消费者的注意力。

根据 Adobe Digital Insights 的统计，11月，美国人在线上购物的支出大约为400亿美元，比2015年增加了7.6%。Slice Intelligence 预测，在黑色星期五和 Cyber Monday 之间，网上购物中有31% 流向了亚马逊，这肯定是亚马逊的 CEO Jeff Bezos 希望看到的增长。

如果有人想在网上购买一台笔记本电脑。由于看到了Amazon Go 的商业广告，他首先访问了亚马逊而不是 Best Buy 或者苹果官方网站——那 Bezos 就赢了。

事实也确实如此，根据新智元在写下这篇文章时的调查，对于亚马逊的这一计划，市场反应较好。12月5日，美股开盘后，亚马逊股价立即上涨，当天收涨2.57%，结束了此前5连跌；同时，在5日和6日两个交易日，股价累计涨幅达3.24%。

《福布斯》报道称，不需要掏钱付款就能结账的创意，从任何一个方面来看，都不是一个新鲜的概念了。Square 的 CEO Jack Dorsey 多年来一直在谈，商家应该如何在消费者走进商店时，对顾客进行识别，并为他们准备好想要的东西，消除掉与收营员和交换钱款之间的麻烦。根据亚马逊官方网站的介绍，在这方面，他们至少已经谋划了4年。

但是，现在看来，其愿景依然缺乏具体的细节。不过，亚马逊确实有很多流行词，比如深度学习、计算机视觉和传感器。这些词将会让对技术内容知之甚少的普通大众倍感兴奋。

Amazon Go 的网站上介绍说：“我们的免结账购物体验使用的是与无人驾驶汽车类似的技术：计算机视觉、传感器融合以及深度学习。我们的”Just Walk Out“ 技术会自动地探测到哪些商品被拿走了，哪些被放回了原地，并且，使用一个虚拟的购物车，我们也能追踪商品的轨迹。

从介绍视频来看，Amazon Go 看起来像一个高级便利店，货架上整齐排列着各种预制食品和便利杂货商品。使用适当的传感器，该技术可用于任何类型的零售商品。例如，很容易就能应用于亚马逊网站销售的其他数百万的时尚服饰、电子产品、家庭用品等商品。该公司表示，“Just Walk Out ” 技术利用计算机视觉、传感器融合（sensor fusion）技术以及深度学习算法来提供这种无缝的购物体验。可以想象亚马逊实体店的未来：书店、美容店、免下车杂货店、便利商店等等，全都使用这些技术。

《福布斯》记者Ryan Mac 在报道中问道：这听起来很美好。但是，实际情况下，它是怎样运转的呢？商店里会有多少种货物？如果商店没有识别出来某个消费者呢？有人拿了太多东西该怎么办？

新智元专家怎么看？

Amazon Go 宣传视频发布后，在业界引起了强烈反响，在新智元人工智能核心微信群中，各位专家也进行了热烈的讨论。那么，专家们怎么看亚马逊这一激动人心的尝试？

专家1 （资深技术人员，与Amazon Go项目内部人员很熟）：里面有N 多摄像头和3D摄像头，做了3D人体建模和行为分析。可以说，Amazon Go绝对不是 PR，做这个小店有千万美元级别的投入。

专家2 （机器人公司董事长）：拍脑袋分析一下，进门扫完码后，后台系统通过3D摄像头把人体特征值与账户ID进行绑定，然后对取货的动作视频进行分析（通过深度学习来正确辨识人类取放商品的动作细节）来实时更新虚拟购物车，出门后自动支付。如果店内人流密集的化，感觉后台的实时运算量极其巨大。进门的闸机确保了客户ID能被有效辨识，但是如果是一个大人带着一个小孩，出店的时候小孩也拿着东西，而且与大人分开较远的话，系统可能就无法自动结账，不过可以出报警。

专家3（工程师）：如果问题缩小到只是进出闸机那会整个人的识别， 只做一进一出的对应及出闸机时身上携带商品（用 RFID之类补充确认）的感应识别， 那似乎还在可脑补范围之内。

核心技术 Amazon Rekognition

根据官网介绍，Amazon Go 主要的识别技术叫做 Amazon Rekognition，能够在消费者购物流程中进行一系列不同类型的识别，以判断多种不同的购物场景。

六张图看懂 Amazon Go 消费过程

或许看了视频和上面的说明还稍嫌眼花缭乱，美国报纸 US Today 对 Amazon Go 的购物消费过程做了更贱简单易懂的可视化展示，下面具体看一下：

首先，消费者用手机像地铁刷卡那样，进入店铺——当然，手机上得注册有亚马逊的账户。与此同时，位于入口处的摄像头会进行人脸识别，识别的技术主要是 Amazon Rekognition。

当消费者在货架前停下来时，摄像头会捕捉并记录消费者拿起的商品，以及再次放回去的那些。

放置在货架上的摄像头会通过手势识别，消费者是拿起了一件商品（购买）还是拿起一件商品看了看又放回货架（不购买）。

店内麦克风会根据周围环境声音判断消费者所处的位置。

货架上的红外传感器、压力感应装置（记录商品被取走），以及荷载传感器（记录商品被放回）会记录下消费者取走了哪些商品以及放回了多少商品。同时，这些数据会实时传输给 Amazon Go 商店的信息中枢，每位顾客都不会有延迟。

在离店时，传感器会扫描并记录下消费者购买的商品，同时自动在消费者的账户上结算金额。

利用这些技术，Amazon Go 究竟如何实现“未来购物过程”？专利文件揭露答案

国外网站上，有人翻出了亚马逊两年前申请专利时发布的文件。

亚马逊提交的专利文件的描述中，提到这一系统使用了包括 RFID（无线射频识别）在内的技术，在探测购物者是否从货架上拿下了商品，然后把数据传输到一台手持设备上。

这也意味着，在购物者继续购物的同时，系统已经对商品状态进行了同步，这免去了传统排队结账的方式。当消费者从商店的”过渡区“走出商店时，系统会感应到消费者已经离开，随后对他们带走的物品进行统计，并在顾客的亚马逊账户进行扣款。

从视频中可以看到，消费者需要使用智能手机验证进入商店

专利示意图：

可以看出，位于店内有各种传感器，包括商场安装的摄像头、商品上的重量感应器

消费者购物过程中的具体识别过程

专利文件写道： 

例如，如果消费者在零售店内购物，他不需要停下来，用现金或者与收银员沟通，或是使用自动结账台来完成付款，因为他在商店内选择的商品已经被系统记录，并通过与消费者本人相关的商品确认清单确认，所以，他们能带着选购的商品直接走出商店。

系统会探测到消费者走出店门，随着消费者通过出口（也就是过渡区域），系统会自动对消费者挑选的商品进行结账，期间消费者不用做任何的停留，也就避免了等待和排队。 

专利文件表明，系统可以使用消费者过去的购买记录，来帮助确认消费者在购物时选择的某一商品。

例如，如果货存清单管理系统不能确定消费者所选择的到底是一瓶番茄酱还是芥末，它可能会参考这位顾客过去的消费记录，或者这位顾客是否已经选择过相同的商品。举个例子，如果顾客的消费历史记录显示他只购买番茄酱，那么这些信息可能会被用于确认消费者选择的就是一瓶番茄酱。

亚马逊在视频中提到，他们使用的技术包括多传感器融合，从不同传感器上获得的数据增加了判断的可信度和准确率。以下是专利文件对多传感器数据汇合的描述。 

在一些配置条件下，来自其他输入设备的数据可能会被用于帮助确定某一商品是否已经被选中或者被放回到货架上。比如，如果系统判断一件商品已经被放回到货架上，除了图像分析外，基于形状和压力的传感器，以及称重设备上的数据，系统会对该商品生成一个权重。图像分析也许能有助于将货架上匹配的商品数量减小到一个更小的清单，提高匹配率。

货架上商品的权重会与可能匹配的每个商品被存储在系统内的权重进行比较，来确定商品是否真的已经被放回到货架上。结合多个来源的输入，系统会生成一个高置信度的数字，来提升系统确认某一商品是被从货架上拿走还是被放回的准确率。

这一专利文件是在两年前公布的，现在亚马逊很可能也做了很多的改变。但是，从视频上可以看到，基本思路还是沿袭了专利文件中的描述。

由此看来，其基本技术实现与新智元专家的推测基本一致。Amazon Go 目前已经对公司员工开放测试，预计在来年开幕。如果真正实现Demo中的一切，那将是对线下购物乃至日常生活的颠覆，也将是人工智能真正走入我们每个人生活的一个漂亮的开始。