AI 再造搜索３招：谷歌如何用机器学习和深度学习直接给你答案

编者按：本文由微信公众号“新智元”（ID：AI_era），来源trendintech，insidebigdata 等 ，译者李静怡， 刘小芹 ；36氪经授权发布。

搜索是最先一批被人工智能深刻改变的行业，这不仅仅是因为搜索公司（谷歌、百度、微软）跑在了AI 革命的前面。本文从搜索结果、视频搜索和精准营销/SEO这三方面，为你展现被机器学习和深度学习改变的搜索行业。只有拥有 AI 能力的企业才能在不远的未来获得巨大收益。

试试向谷歌的搜索 App 询问：“地球上飞得最快的鸟是什么鸟？”，它会回答你：“游隼”。根据 YouTube，游隼的最快速度达到 389 公里/小时。

回答正确，但这个答案不是从谷歌内部的主要数据库中来的。当你问它上述问题时，谷歌的搜索引擎会精确定位到一个 YouTube 视频，这个视频是介绍地球上飞得最快的 5 种鸟类的，搜索引擎随后从视频中提取出需要的信息来回答你的问题，并且不会提到其他 4 种鸟类。

如果你问：“光明节有多少天？”或者“Totem 持续多长时间？”，谷歌搜索引擎会知道这里的 Totem 是指太阳马戏团的演出，回答你它持续两个半小时，包括 30 分钟的休息时间。

谷歌搜索 App 能做到像这样回答问题是利用了深度神经网络。深度神经网络作为人工智能的一种形式，不仅改进了谷歌搜索引擎，甚至让整个谷歌公司，以及 Facebook、微软等其他互联网巨头改头换面。深度神经网络是一种模式识别系统，能够通过分析大量数据学习执行特定的任务。在谷歌搜索 App 的例子中，深度神经网络学会了从互联网上的相关网页中获取长句子或段落，然后从中提取出有关问题答案的信息。

谷歌搜索桌面版最近应用了这些“句子压缩算法”（sentence compression algorithms）。这些算法处理的任务对人类来说非常简单，但一直以来对机器来说是相当困难的，即自然语言处理任务。句子压缩算法显示了深度学习对自然语言理解的促进作用，以及理解并回应人类语言的能力。谷歌搜索部门的产品经理 David Orr 就谷歌的句子压缩研究说：“你需要使用神经网络，起码这是我们发现的唯一的方法，我们使用了我们拥有的所有最先进的技术。”

谷歌大脑在3月8日的谷歌 Cloud Next 17 云技术大会上推出 Video Intelligence API。这个 API 能够识别视频中的对象，并能够实时地搜索它们。

新的 Video Intelligence API 让开发者构建可以从视频中提取对象应用程序。在此之前，这类提取还只能通过图像而不是视频，但这个新的 API 实现了从视频中提取对象。该 API 能对视频进行全片分析，提炼全片的故事脉络，记录一共发生多少个场景，每个场景的清洁。这有助于对视频进行更精确的标签分类。

谷歌视频智能 API 实现了从视频中提取对象

开发者能够利用该 API 构建有创意的应用程序，让用户能够搜索任何与他们正在观看的视频内容相关的信息。这给“观看节目”这个词带来的全新的意义——当你能够找到你想看的节目任何方面的更深入的信息的话，“观看节目”可能就不止于观看了。

这对于科学研究也有重大意义。数据分析和图像处理方面的专家 Mathias Ortner 说：“测试显示，谷歌云机器学习能够帮助提高我们分析卫星图像的准确性和速度，它解决了这个已有几十年历史的问题。”

左：识别卫星图像中雪和云的区别非常困难。右：使用云机器学习，能够自动检测并识别到右上方的是云（红色部分）。

除了能够从视频中提取元数据，Video Intelligence API 还允许用户标记视频中的场景变化。这些视频接着被存储在谷歌的云存储平台上。视频分析此前是让研究人员十分痛苦的事情，但有了机器学习的能力，谷歌的这项新服务能够让从视频中提取数据就像处理静态图像一样简单。谷歌也在推进其使用 TensorFlow 框架的云机器学习引擎，以允许创造自定义的学习模型。

机器学习和深度学习也在改变数字营销的面貌。在这股潮流当中，谷歌无疑处于领头羊的地位。再一次地，谷歌使用机器学习和深度学习。谷歌曾经公开宣布，使用机器学习的 RankBrain 是其搜索引擎网站排名算法的第三大要素。

谷歌在 2015 年推出了 RankBrain，RankBrain 并不是算法的一部分，它的作用是了解哪种算法组合最适用于当前类型的搜索结果。这也意味着，对于每个搜索结果，谷歌都使用了完全不同的算法混合方式。确切地说，RankBrain 在词的水平上进行操作，为每个搜索结果都进行算法的个性定制。

RankBrain 用于帮助处理搜索结果，特别是那些不常见的、复杂的多字查询。例如，包含单词“without”或“not”的否定搜索查询并不常见，RankBrain 就能帮助这些搜索词的查询。

RankBrain 还可以“看出”那些似乎没有什么关联的搜索之间的模式，从而了解这些搜索之间有什么相似的地方。然后，RankBrain 还能将这些搜索与它认为搜索者正在寻找的结果相关联。谷歌有一个循环流程，让 RankBrain 离线学习材料，然后测试它，然后在线使用新的版本。这种循环不断重复，RankBrain 变得越来越聪明，可以更好地处理这些不寻常的搜索查询。

RankBrain 这个新型深度学习系统还可以学习分辨“好”网站长什么样，“坏”网站长什么样。不同的垂直领域具有不同的客户关系管理方式、不同的模板和数据结构类型。谷歌为每一个搜索结果赋予不同的算法权重，因此每个垂直领域都有不同的“好”网站和“坏”网站实例。

当 RankBrain 运行时，它会学习每种垂直环境中的正确“设定”是什么样的。你或许已经猜到，这些正确设定是什么完全取决于该设定所处于的垂直领域是什么样的。例如，在医疗产业中，谷歌知道像 WebMD.com 这样的网站声誉良好，并会把这样的网站放在其搜索索引的顶部位置。而任何结构上与 WebMD 网站相似的网站，也会被归类到“好”网站的类别中。类似的，那些与已知的医疗领域垃圾网站结构相似的网站则会被归为“坏”网站的类别。

对于那些包含了许多不同类别的网站，比如 How-To 型网站，为了避免深度学习方法崩溃，谷歌可能会使用看起来随机的数据——当然，这只是一种可能。它可能从众多类别中选择这个类别，也可能选择另一个类别。对于像 Wikipedia 这样的著名网站来说，谷歌可能完全不采取任何分类过程，这也是为了确保深度学习过程不会打扰用户既有的搜索体验（因为维基这样的大网站不太可能产生坏网页）。

谷歌设计 RankBrain 的目的是让人没有办法再“钻空子”。没有了黑帽战略来击 RankBrain，谷歌就能以此强制让网站所有者提升他们网站的用户友好度。用户看到的结果就是，对垃圾邮件网站的打击力度更大了。此外，更智能的搜索引擎能够了解哪些网站将在设备上正常显示，并将这些结果传递到相应的屏幕尺寸上面。也就是说，你还能看到更好的设备集成和基于所使用的设备类型得到更好的搜索结果。

SEO 领域将继续变得极端技术化。分析和大数据是今日的王道，那些对这些方法尚不熟悉的 SEO 必须尽快赶上，而那些已经拥有这些能力的 SEO 有希望未来获得巨大收益。

尽管机器学习和深度学习让谷歌在搜索的各种方面都变得更加智能，但是，仍然存在难以跨越的障碍。

为了让谷歌搜索自动给出答案，谷歌组织了一个由大量语言学博士组成团队，它把这支团队称为“Pygmalion”，使用这些语言学家人工筛选的数据来训练神经网络。实际上，谷歌的机器通过观察人类的做法来学习如何从长段落中提取相关答案，这个过程需要重复多遍，相当漫长。这些艰苦的努力表明了深度学习的能力和局限性。为了训练像这样的人工智能系统，需要大量的、由专业人士筛选过的数据。这些数据不容易得到，也不便宜，而且对这种数据的需求不会很快消失。

谷歌的这支语言学博士团队不仅做句子压缩的示范，而且要标记词类以帮助神经网络理解人类语言。Pygmalion 团队包括了来自全球各地的约 100 名语言学博士，这支团队处理过的数据也被称为“金数据”（Gold Data）。相比之下，新闻报道等没有处理过的数据则被称为“银数据”（Silver Data）。银数据当然是有用处的，因为其数量非常大。但金数据是必不可少的。当前谷歌 Pygmalion 团队使用的语言有 20 至 30 种。Pygmalion 团队的负责人 Linne Ha 也表示，这支团队还将继续扩大。

我们知道，使用无监督学习，机器可以从未标记的数据中学习，谷歌、Facebook 等公司也已经开始这方面的研究。虽然仍有很长很长的路要走，但人工智能正在重塑搜索行业的面貌，机器学习和深度学习已经能让搜索引擎直接告诉我们答案，让视频搜索成为现实。

正如上文所说，那些对这些方法尚不熟悉的公司必须尽快赶上，而那些已经拥有这些能力的企业则将在不远的未来获得巨大收益。