深度长文：人工智能“飞轮”重塑亚马逊

编者按：很多人都在谈人工智能，但到底该怎么利用人工智能？近年来，亚马逊一直在用人工智能重塑自己，它的过程可以给任何一个想要利用人工智能的公司与团队带来启发。《连线》杂志发表了一篇文章，介绍了人工智能重塑亚马逊的过程。文章由36氪编译。

2014年初，Srikanth Thirumalai找到亚马逊 CEO 杰夫 ·贝索斯。Thirumalai是一名计算机科学家，2005年从IBM离职后就一直领导着亚马逊的推荐团队，他将要提出一个全范围的新计划，将人工智能的最新进展整合到他的部门中。

他带着一个六页纸的文档。很久以前，贝佐斯就宣布，向他提出新产品和服务的计划书必须限制在这一范围内，而且还得包括一个描述产品、服务或计划的新闻稿。现在，贝佐斯想要把亚马逊变成一个人工智能重镇。在公司成立早期，亚马逊就在产品推荐中使用了人工智能技术。但最近几年，这一领域出现了一场革命，机器学习变得更有效了，尤其是在深度学习，直接带动了计算机视觉，语音和自然语言处理等方面取得了巨大的进步。

在这个十年的早期，亚马逊还没有显著地利用这些优势，但它意识到这是一个迫切的需求。这个时代最重要的风口将会是人工智能，谷歌、Facebook、苹果和微软都投入了巨大的资源，亚马逊却落在了后面。“我们会问每一个团队的领导者这样一个问题——‘你将如何利用这些技术，并将它们整合到你的业务中？’”亚马逊设备和服务副总裁大卫·斯利特（David Limp）说。

Thirumalai把这一点牢牢地记在了心底，他找到贝佐斯，向他提出了如何更加积极地利用机器学习的建议。但他认为，彻底重塑现有的系统风险可能太大，但经过20年的调整，机器学习已经在图像和语音识别这两个不相关的领域发挥了最好的效果。“还没有人真正将深度学习应用到推荐问题上，”他说。“所以这需要我们对自己的信心有一个飞跃。”Thirumalai还没有完全准备好——但是贝佐斯想要他做更多，Thirumalai分享了他的更激进的选择——利用深度学习来改进推荐的工作方式。这需要他的团队去掌握还不存在的技能，开发没有被创造出来的工具，以及研究没有人想到的算法。贝佐斯非常喜欢这个选择。然后，Thirumalai重写了他的新闻稿，并开始了工作。

Srikanth Thirumalai，亚马逊搜索业务副总裁，负责用先进的机器学习来改进亚马逊软件的领导者之一。

Thirumalai只是几年前带着6页文档找到贝索斯高管中的一位，他们负责不同的产品，服务不同的客户群体。但每个人基本上都想到了和Thirumalai差不多的方法：用先进的机器学习技术改造亚马逊的一部分业务。其中有些人提出重塑当前的业务项目，比如公司的机器人技术和大数据中心业务——亚马逊网络服务（Amazon Web Services）。有一些人则提出了创建全新的业务，比如一个基于语音的家用电器，最后演变成了Echo。

这些改变产生的影响远远超出了单个项目的范畴。Thirumalai说，在他开会的时候，会把亚马逊的人工智能人才隔离开来。“我们可能会争论，可能会交流，但我们不会彼此分享太多的进展，因为这些经验并不能简单或者直接嫁接，”他说。他们是浩瀚的工程海洋中的人工智能岛，用机器学习来彻底改造公司的努力改变了这一切。

尽管这些团队都比较崇尚亚马逊的“单线程”团队文化，但在发展人工智能的关头，他们走向了合作。一些科学家解决了一些棘手的问题，并跟其他的团队分享了自己的解决方案。整个公司里，人工智能岛之间开始建立了联系。随着亚马逊对人工智能方面的项目野心不断增大，其面临的挑战也越来越复杂，从而为其吸引了顶尖的人才，尤其是那些希望看到自己的工作能够产生实际影响的人，这弥补了亚马逊在纯研究方面的缺口。因为亚马逊一直遵循着以客户服务为导向的公司文化。

亚马逊喜欢用“飞轮”（flywheel）这个词来形容它庞大业务的各个部分是如何作为一个永动机来运作的。它现在有了一个强大的人工智能飞轮，作为公司的一部分，机器学习的创新为其他团队的努力提供了动力，而其他团队则可以开发产品或提供服务来影响另外的团队，甚至是整个公司。此外，将机器学习平台作为付费服务提供给外部人士，这让这项工作本身变得有利可图——在某些情况下，还可以获取更多的数据来进一步提高技术水平。

亚马逊从一个深度学习的追随者成为了主导者，这背后需要大量的六页纸文档项目。这种转变的结果可以在整个公司中看到——包括目前在一个全新的机器学习基础上运行的推荐系统。亚马逊能够更加精确地建议你接下来应该阅读什么，你应该在购物清单上添加什么商品，以及你今晚可能会想看什么电影。今年，Thirumalai开始了一项新的工作——主管亚马逊搜索，他打算用深度学习来改造这个服务的各个方面。

“如果你在七八年前问我，亚马逊在人工智能领域的影响力有多大，我可能会说，‘他们什么都不是，’”华盛顿大学计算机科学教授Pedro Domingos说。“但他们一直都在努力发展，现在已经成为了一股不可忽视的力量。”

Alexa效应

亚马逊进军人工智能领域的旗舰产品是其独立的智能音箱Echo，以及为其提供动力的Alexa语音平台。这些项目同样来自于一份六页纸文档，在2011年提交给了贝佐斯。其中一名参与者是一位名叫Al Lindsay的高管，他从2004年起就加入了亚马逊，他被要求离开当时正在领导的 Prime tech 团队, 帮助完成一些全新的东西。“一种低成本、无处不在的计算机，它的所有‘大脑’都在云端，你可以通过语音与它互动——你跟它说话，它会跟你说话。”这就是当初他对Echo的描述。

但是想要建立这样的一个系统，也就是说想要实现科幻小说《星际迷航》中那台健谈的计算机，需要有人工智能能力，这正是亚马逊所缺少的。更糟糕的是，在很少能够建立这样系统的专家中，基本上没有人愿意为亚马逊工作。谷歌和Facebook正在争抢该领域的顶尖人才。“我们是弱者，”现在是副总裁的Lindsay说。

亚马逊Alexa引擎副总裁Al Lindsay表示，亚马逊在试图招募人工智能专家来设计和搭建语音平台时处于劣势。

“亚马逊的形象有点糟糕，他们一直对那些研究型的人才不太友好，”华盛顿大学教授Domingos说，亚马逊对客户的高度关注，以及的文化氛围，与学术界的格调和竞争对手提供的轻松待遇并不一致。“在谷歌，你是被纵容的，”Domingos说。“但在亚马逊并不一样。”更糟糕的是，亚马逊还有这样的一个名声——它是一个将创新工作置于企业机密之下的地方。2014年，机器学习领域的顶级专家之一Yann LeCun，在一次内部会议上向亚马逊的科学家们做了一次演讲。他在被邀请参加这个演讲的时候，他收到了一份领导Facebook研究团队的offer，但他还是去了。正如他现在所描述的那样，他在一个大约600人的礼堂里演讲，然后被领进了一个会议室，一个接一个的小组进去向他提问。但是当他问他们问题时, 他们都没有回答。 这让LeCun对亚马逊失去了兴趣，从而选择了Facebook，部分原因在于Facebook同意开源其人工智能团队的大部分工作。

因为亚马逊缺乏人才，它利用自己雄厚的财力来收购有技术专长的公司。“在开发Alexa的早期，我们收购了很多公司，”Limp说。2011年9月，亚马逊收购了Yap，这是一家语音文本公司，擅长将口语转化为书面语言。2012年1月，收购了英国剑桥的Evi公司，该公司的软件可以像Siri那样响应语音请求。2013年1月，收购了一家专门从事文本转语音业务的波兰公司Ivona，该公司提供的技术可以使Echo能够进行对话。

但是亚马逊的保密文化阻碍了它吸引顶尖人才的努力。其中一个潜在招募对象是Alex Smola，他是这个领域的超级明星，曾在雅虎和谷歌工作过。“他确实是深度学习领域的教父之一，”亚马逊网络服务公司的深度学习和人工智能的总经理Matt Wood说。（谷歌学术上关于Smola作品的引用有超过9万次。）亚马逊的高管们甚至不会向他或其他候选人透露他们将会做什么。Smola拒绝了这个提议，而是选择在卡内基梅隆大学负责建立一个实验室。

Alexa的总监Alexa Sarikaya和亚马逊Alexa引擎的副总裁Al Lindsay，不仅创建了智能音箱的Echo，还致力于为其他公司的产品提供语音服务。

“在我们发布产品之前，一直都是逆风而行，”Lindsay说。“他们会说，‘我为什么要去亚马逊工作——我对那些卖给人们的产品不感兴趣！’”

但亚马逊在一个方面确实有吸引力。因为亚马逊一直都遵循着先写新闻稿再开发产品的习惯，很多时候这些新闻稿里面有很多困难的问题，这些困难的问题对于一些有野心的科学家来说，是具有致命吸引力的。特别是想要在语音领域有所建树，必须要有一种对话式的人工智能技术，比如具备唤醒词（“嗨，Alexa！”），能够识别并理解命令，提供合理的答案等等，这些技术在当时都还不存在。

即使这个项目没有太多的开发细节，也引起了Rohit Prasad的兴趣，他是一位受人尊敬的语音识别科学家。（亚马逊让他在自己的家乡建立了一个团队，这也对他有帮助。）他认为亚马逊缺乏专业知识是一个特征，而不是缺陷。 "这里是一块待开拓的土地,"他说。 "谷歌和微软多年来一直致力于语音技术的研究。 在亚马逊，我们可以白手起家，解决难题。”2013年，他加入了Alexa的项目。“这款设备还处于一种硬件阶段，想要在语音方面有所建树还为时尚早，”他表示。

Echo中最棘手的部分是一种被称为远场语音识别的技术，它涉及到识别并理解与麦克风保持一定距离的语音指令，即使这些指令会受到环境噪音或其他声音的影响。一个很有挑战性的因素是，这款设备不能浪费太多时间去思考你说的话。它必须把音频发送到云端，并迅速给出一个答案，让人感觉像是在谈话。构建一个能够在嘈杂的环境中理解指令，并给出响应的机器学习系统需要大量的数据。亚马逊从哪里得到这些数据也是一个非常棘手的事情。

现在，各种各样的亚马逊设备和第三方产品都使用了Alexa语音服务。通过Alexa收集的数据有助于改进系统。

远场技术以前就存在了，Limp 说。但“它在三叉戟潜艇的鼻锥上，要花费十亿美元。”亚马逊试图将其安装在一个可以放在厨房柜台上的设备上，而且它必须足够便宜，让消费者能够买得起这样一款新奇的小玩意。“我的团队中有90%的人认为这是不可能的，”Prasad说。“在亚马逊外，我们有一个技术咨询委员会——我们没有告诉他们我们在做什么，但他们说，‘不管你做什么，都不要去碰远场识别！‘”

Prasad的经历给了他信心，让他相信这是可以实现的。但是，亚马逊并没有一个能够将机器学习应用于产品开发的系统。“我们有一些科学家在研究深度学习，但我们没有足够的基础设施来生产，”他说。好消息是，所有的零部件都在亚马逊体系内——一个无与伦比的云服务，装有GPU的数据中心来处理机器学习算法，还有那些知道如何像“火球”一样移动数据的工程师。

他的团队利用这些零件创建了一个平台，这个平台本身就是一笔宝贵的资产，超出了它为Echo提供动力的价值。“一旦我们将 Echo 开发成一个远场语音识别设备，我们就看到了做更大事情的机会——我们可以将Alexa的范围扩大到语音服务，”Alexa高级首席科学家Spyros Matsoukas说。他们扩展Alexa的一种直接方式是允许第三方开发者创建他们自己的“语音技术迷你应用程序”——被称为“技能”，能在Echo上运行。但这仅仅只是个开始。

亚马逊公司的资深首席科学家Spyros Matsoukas将Alexa变成了一股力量，它可以加强亚马逊的人工智能文化。

通过在Echo之外推出Alexa，亚马逊开始凝聚起来了一种人工智能文化。公司的团队开始意识到，Alexa也可以为其宠物项目提供有用的语音服务。

“尽管我们对“单线程”所有权上非常重视，但所有的数据和技术都汇集在一起。”Prasad说。亚马逊的其他产品也开始整合到了Alexa中：当你使用Alexa的设备时，你可以访问亚马逊音乐、Prime视频和其他服务等等。然后，这项技术开始在亚马逊其他领域流传开来。“一旦我们拥有了基本的语音能力，我们就可以将它带到非Alexa的产品中，比如Fire TV、语音购物、以及最终的AWS中，”Lindsay说道。

亚马逊内部的人工岛之间的距离越来越近了。

促进亚马逊转型的另一个关键环节是，一旦有数百万客户（亚马逊不愿透露具体数量）开始使用Echo，或者是使用其他基于Alexa设备，就意味着它已经进入了这个领域。亚马逊开始积累大量的数据——很可能是所有谈话驱动设备中最大的交互集合。这些数据对潜在的雇佣者来说是一个强大的诱惑。突然间，亚马逊迅速成为了那些令人垂涎的机器学习专家们想要工作的地方。"让 Alexa 对我如此有吸引力的原因之一是, 一旦你在市场上有了一个设备, 你就有了反馈的资源，不仅是用户的反馈数据，还有那些对改善一切都至关重要的实际数据——尤其是底层平台。”去年加入亚马逊的机器学习副总裁 Ravi Jain 说。

因此，随着越来越多的人使用Alexa，亚马逊获得的信息不仅能够使系统性能更好，而且还强化了它自己的机器学习工具和平台——并使其成为机器学习科学家的一个热门目的地。

飞轮开始旋转。

更聪明的云

2014年，亚马逊开始向Prime客户销售Echo。同年，Swami Sivasubramanian开始着迷于机器学习。

当时负责管理 AWS 数据库和分析业务的 Sivasubramanian 当时正在印度进行家庭旅行, 由于时差综合症，他发现自己深夜在电脑前摆弄谷歌的 Tensorflow 和Café等工具, 这是 Facebook 和许多学术界专家青睐的机器学习框架。 他的结论是，将这些工具与亚马逊的云服务结合起来可能产生巨大的价值。他认为，通过使云计算中的机器学习算法变得更容易，公司可能会挖掘出潜在的需求脉络。“我们每个月都会为数百万的开发者提供服务，”他说。“大多数人不是麻省理工学院的教授，而是没有机器学习背景的开发者。”

亚马逊人工智能副总裁斯Swami Sivasubramanian，是首批意识到将人工智能工具集成到公司云服务中，将会产生商业价值的人之一。

他带着史诗般的六页纸文档去找到了杰夫·贝佐斯。在某种程度上，它是为 AWS 增加机器学习服务的蓝图。但是，Sivasubramanian认为这具有更广阔的前景：AWS将会成为整个技术领域机器学习活动的中心。

从某种意义上来说，向成千上万的亚马逊云用户提供机器学习是不可避免的。“当我们第一次整合AWS最初的商业计划时，我们的任务是采用只有少数资金充足的组织才能获得的技术，并使之尽可能广泛地分布，”AWS机器学习经理Wood说。“我们在计算、存储、分析和数据库方面已经成功地做到了这一点——我们在机器学习方面也采取了同样的方法。”更简单的是，AWS团队可以借鉴公司其他团队积累的经验。

AWS在2015年首次推出“亚马逊机器学习”，允许像C-Span这样的客户建立一个私人的面部列表，Wood说。Zillow用它来估算房价。Pinterest将其用于视觉搜索。几家自主驾驶创业公司正在利用AWS机器学习技术，通过数百万英里的模拟道路测试来改进产品。

2016年，AWS发布了新的机器学习服务，更直接地借鉴了Alexa的创新——一种名为Polly的文本到语音的组件，以及一种名为Lex的自然语言处理引擎。这些产品让AWS的客户——从Pinterest和Netflix这样的巨头到小型创业公司——都可以建立自己的迷你“Alexas”。

第三个涉及视觉的服务Rekognition，借鉴了Prime Photos所做的工作，这是亚马逊一个相对不太出名的群体，他们试图和谷歌、Facebook和苹果等照片产品一样，在照片识别领域实现同样的深度学习魔法。

这些机器学习服务既是强大的收入来源，也是亚马逊的人工智能飞轮的关键，因为像美国国家航空航天局和美国橄榄球联盟这样不同的客户都在花钱让他们的机器从亚马逊上学习。随着企业在AWS中建立起重要的机器学习工具，他们最后转向与亚马逊竞争的云计算业务的可能性变得微乎其微。（对不起，谷歌、微软或IBM。）

比如Infor，这家为企业客户创建商业应用程序的公司估值已经达到了数十亿美元。它最近发布了一款名为Coleman的新应用，它允许客户自动处理各种流程，分析性能，并通过对话界面与数据交互。它没有从头开始构建自己的机器人，而是使用AWS的Lex技术。“不管怎样，亚马逊都已经做出来了，我们为什么要花时间在这上面呢？我们了解我们的客户，我们可以使之适用于他们，”Infor的高级副总裁Massimo Capoccia说。

AWS在以太网上的主导地位，也使其在战略上比竞争对手更有优势，尤其是谷歌，后者曾希望利用其机器学习的领导地位，在云计算领域赶上AWS。是的，谷歌可能会在其服务器上为客户提供超快的、机器学习优化的芯片。但是，在AWS上的公司可以更容易地与使用相同服务的公司进行交互，并向它们销售产品。“这就像Willie Sutton所说的，他之所以抢劫银行，是因为那是钱的来源，”DigitalGlobe的首席技术官Walter Scott谈到了他的公司为什么使用亚马逊的技术。“我们使用AWS进行机器学习，因为这是我们的客户所在的地方。”

去年11月，在AWS re:Invent大会上，亚马逊为其客户推出了一个更全面的机器学习产品:SageMaker，一个成熟且超级易用的平台。它的创造者之一就是Alex Smola，这位机器学习领域的超级巨星，在五年前拒绝了亚马逊。当Smola决定重返业界时，他想要帮助创建强大的工具，让日常软件开发人员能够使用机器学习。所以他去了一个他觉得他会产生最大影响的地方。“亚马逊太好了，不能错过，”他说。“你可以写一篇关于某件事的论文，但如果你不构建它，就没有人会使用你的漂亮算法。”

当Smola告诉Sivasubramanian，将机器学习传播给数百万人的工具比再发表一篇论文更重要的时候，他得到了一个惊喜的回答。“你也可以发表你的论文！”Sivasubramanian说。是的，亚马逊现在在允许科学家发表文章方面更加自由。 “这不仅有助于招募顶尖人才，也为亚马逊的研究提供了可见性。”Spyros Matsoukas说，他帮助制定了更为开放的指导方针。

现在还不知道AWS的数百万用户是否会开始使用SageMaker，来将机器学习植入到他们的产品中。但是，每一个客户都会发现，自己在亚马逊的机器学习服务提供商身上投入了大量资金。此外，该平台还非常成熟，甚至包括Alexa团队在内的亚马逊内部的人工智能团队也表示，他们打算使用与外部人士相同的工具集——成为SageMaker的客户。他们相信，通过为他们的项目打下基础，可以让他们专注于更复杂的算法任务，从而为他们节省大量的工作。

即使只有AWS的一部分客户使用了SageMaker，亚马逊也会发现自己拥有大量关于其系统运行情况的数据（当然，不包括客户对自己的保密信息）。这将带来更好的算法。更好的平台。更多的客户。飞轮在高速运转。

人工智能无处不在

随着机器学习的全面到位，亚马逊的人工智能技术现在已经遍布了它的许多团队——这让贝佐斯感到非常满意。虽然亚马逊没有人工智能中心，但有一个部门专门负责机器学习的普及和支持，还有一些应用研究将新科学引入到公司的项目中。核心机器学习小组由 Ralf Herbrich 领导，他曾在微软的必应团队工作过，之后在Facebook工作了一年，在2012年被亚马逊挖走。“在公司内部有一个拥有这个社区的地方是很重要的。”他说。（当然，这个项目也来自于贝索斯批准的六页纸文档项目。）

他的部分职责包括培育亚马逊快速增长的机器学习文化。由于该公司以客户为中心的方法——解决问题而不是进行“蓝天研究”——亚马逊的高管们确实承认，他们的招聘工作将总是倾向于那些对建设事物感兴趣的人，而不是那些追求科学突破的人。Facebook的LeCun则用另一种方式说："不领导知识分子先锋, 你可以做得很好。"

不过，亚马逊正在效仿Facebook和谷歌，培训员工适应人工智能。它开设了关于机器学习策略的内部课程。主办了一系列内部专家的座谈会。从2013年开始，该公司每年4月都会在其总部举办一次内部机器学习会议。“刚开始的时候，亚马逊机器学习会议只有几百人，现在已经有几千人了，”Herbrich说。亚马逊的一位高管表示，如果它变得更大，就不应该将其称为“亚马逊机器学习事件”，那么它应该被称为“亚马逊”。

Herbrich的团队继续尝试着将机器学习推进到公司的每一个角落。例如，履约团队希望想要更好地预测八个可能的盒子大小中的哪一个应该与客户订单一起使用，所以他们向 Herbrich 的团队寻求帮助。

“这个团队不需要自己的科学家团队，但它需要这些算法，并且需要能够很容易地使用它们，”他说。在另一个例子中, David Limp 指出了亚马逊预测多少客户可能购买新产品的转变。 “我已经在消费电子领域工作了30年，其中有25%是通过人类的判断、电子表格和一些魔术贴球和飞镖来完成的，”他说。“自从我们在预测中开始使用机器学习以来，我们的错误率显著下降。”

尽管如此， Herbrich 的团队有时也会将尖端科学应用到一个问题上。该公司的食品杂货配送服务Amazon Fresh已经运营了10年，但它需要一种更好的方式来评估水果和蔬菜的质量——人类的速度太慢，而且前后矛盾。他在柏林的团队建立了传感器装载的硬件和新的算法，弥补了系统无法触摸和嗅出食物的能力。“三年后，我们将会出一个原型，我们可以比以前更可靠地判断质量。”他说。

当然，这样的进步可以渗透到亚马逊的整个生态系统中。就拿亚马逊最近向公众开放的亚马逊Go来说，它是一家以深度学习为动力的无收银员杂货店。“作为AWS的客户，我们从中受益良多，”亚马逊Go技术副总裁Dilip Kumar说。“但AWS也是一个受益者。”他举了一个例子，亚马逊Go有一个独特的系统，有数百台摄像头来收集数据，追踪顾客的购物活动。他团队的创新为AWS服务Kinesis提供了帮助，该服务允许用户将多个设备的视频传输到Amazon云，在那里他们可以处理它，分析它，并使用它来进一步改进他们的机器学习算法。

即使亚马逊的服务还没有使用自家公司的机器学习平台，它也可以成为这个过程的积极参与者。亚马逊的Prime Air无人机送货服务仍处于原型阶段，它必须单独构建人工智能，因为无人驾驶飞机无法依靠云端来进行连接。但它仍然从飞轮中获得巨大收益，既从公司的其他团队汲取知识，又能搞清楚该使用什么工具。“我们认为这是一个菜单——每个人都在分享他们的菜肴，”Prime Air的副总裁Gur Kimchi 说。他预计，他的团队最终将拥有自己的美味菜单。“我们正在学习的课程以及我们在Prime Air项目中解决的问题，肯定会引起亚马逊其他团队的兴趣，”他说。

事实上，它似乎已经在发生了。“如果有人在公司的某个部门看到一张图片，比如Prime Air或亚马逊Go，他们会学到一些东西并创建了一个算法，他们会和公司里的其他人谈论这个问题，”亚马逊机器人公司的首席科学家Beth Marcus说。“所以我的团队中有人可以用它来完成一些事情。”

亚马逊机器人公司的首席科学家Beth Marcus看到了与公司日益壮大的人工智能专家合作的好处。

一个以产品为中心的公司是否有可能超越那些拥有“深度学习”超级明星的竞争对手？亚马逊正在为此做准备。“尽管他们在追赶，但他们发布的产品发布令人难以置信，”艾伦人工智能研究所的首席执行官Oren Etzioni说。“他们是一家世界级的公司，他们创造了世界级的人工智能产品。”

飞轮一直在旋转，还有许多的六页纸文档仍在酝酿之中。这将会为其带来更多的数据，更多的客户，更好的平台，以及更多的人才。

如果你问Alexa，“亚马逊在人工智能领域的表现如何？”

你猜答案是什么？杰夫·贝佐斯的笑声。

原文链接：https://www.wired.com/story/amazon-artificial-intelligence-flywheel/

编译组出品。编辑：郝鹏程