2018 年，关于深度学习的 10 个预测

我有一种预感：2018年，所有的事情都会发生巨变。我们在2017年看到的深度学习取得的惊人突破将会以一种强大的方式延续到2018年。2017年在深度学习领域的研究成果将会应用于日常的软件应用中。

下面是我对2018年深度学习的10个预测：

（1）大部分深度学习领域的硬件创业公司都将失败

很多深度学习硬件创业公司将在2018年开始交付他们的硅产品（深度学习硬件的核心部件是由晶体硅构成）。其中的大部分公司都将破产，因为他们忘了交付好的软件来支持他们的新解决方案。这些创业公司的DNA是硬件。不幸的是，在深度学习领域，软件与硬件同样重要。这些初创公司大多不懂软件，也不懂得开发软件的成本。这些公司可能会交付硅产品，但是没有任何东西能在这些产品上运行。

研究人员将开始使用这些张量计算核心，不仅用于推理，还会用于加速训练。英特尔的解决方案将继续被推迟，很可能会让人失望。记录显示，英特尔无法在2017年年中实现这一计划，而且所有人都不知道该公司何时会发布这一消息。Google将继续用机器学习芯片TPU来给世界带来惊喜。也许GOogle通过将其IP授权给其他半导体厂商来进入硬件行业。如果它能继续成为除英伟达以外唯一的真正玩家，它这么做是有意义的。

（2）元学习将会成为新的SGD

2017年，在元学习领域出现了很多有分量的研究成果。随着研究群体对元学习有更好的理解，旧的随机梯度下降法(SGD)将会被搁置，取而代之的是一种结合了开发和探索性的搜索方法的更有效的方法。无监督学习的进展将会出现递增，但它主要是由元学习算法驱动的。

（3）生成模型驱动一种新的建模方式

关于生成模型的科学研究将会越来越多。目前，大多数研究都是在生成图像和语音领域开展的。但是，我们会发现这些方法将被集成到用于建模复杂系统的工具中，其中就包括深度学习在经济建模里的应用。

（4）自我博弈学习是自动化的知识创造

AlphaGo Zero和AlphaZero是从零开始通过自我博弈学习是一次巨大的飞跃。在我看来，它的影响与深度学习的出现带来的影响是同等重要的。深度学习发现了通用的函数逼近器，强化式自我博弈学习发现了通用的知识创造方式。我期待看到更多与自我博弈学习相关的进展。

（5）直觉机器将缩小语义鸿鸿沟

这是我做的一个最雄心勃勃的预测。我们将会缩小直觉机器和理性机器之间的语义鸿沟。双重过程理论（Dual process theory）（两种认知机器的概念，一种是无模型的，另一种是基于模型的）将会成为关于我们应该如何构建新的人工智能的更普遍的概念。在2018年，人工直觉的概念将不再是一个边缘概念，而是一个被普遍接受的概念。

（6）解释能力是无法实现的——我们必须伪造它

解释能力存在两个问题。其中比较常见的一个问题是，这些解释有太多的规则，人们通常无法完全掌握。第二个问题就不那么常见了，那就是机器会创造出一些完全陌生的、无法解释的概念。我们已经在AlphaGo Zero和Alpha Zero的策略中看到了这一点。人类会发现它们下棋时走的有些棋是违反常规的，但可能仅仅是因为人类没有能力去理解它走这一步棋背后的逻辑。

在我看来，这是一个无法解决的问题。取而代之的是，机器将变得非常善于“伪造解释”。简而言之，可解释机器的目的是理解让人类感到舒服的解释或者在人类直觉层面上能够理解的解释。然而，在大多数情况下，人类无法获得完整的解释。

我们需要通过创造虚假解释来在深度学习中取得进展。

（7）深度学习领域的研究成果会成倍增加

2017年，人们已经很难掌握全部的深度学习研究成果了。在2018年ICLR 大会上提交的论文数量约为4000份。为了赶上会议时间，一位研究人员每天必须要阅读10篇论文。

这个领域的问题还在进一步恶化，因为理论框架都在不断变化中。为了在理论领域取得进展，我们需要寻找能够让我们拥有更好的洞察力的更先进的数学运算方法。这将是一个艰难的过程，因为大多数深度学习领域的研究人员都没有相应的数学背景来理解这些系统的复杂性。深度学习需要来自复杂性理论的研究人员，但这类研究人员是少之又少的。

由于研究论文太多和理论的欠缺，我们现在处在一种非常尴尬的境地。同样缺失的是通用人工智能（artificial general intelligence）的一般路线图。因为理论很薄弱，我们能做的最好的事情就是创建一个与人类认知相关的里程碑路线图。我们只有一个来源于认知心理学的推测理论的框架。这是一个糟糕的情况，因为来自这些领域的经验证据是参差不齐的。

在2018年，深度学习方面的研究论文可能会增加三到四倍。

（8）工业化是通过教学环境实现的

通往可预测性和可控制性更强的的深度学习系统的发展之路是通过具体的教学环境的发展来实现的。如果你想找到最原始的教学方法，你只需要看看深度学习网络是如何训练的就行。我们将在这个领域看到更多的进展。

预计会有更多的公司披露他们的内部基础设施，解释他们是如何大规模地部署深度学习的。

（9）会话认知的出现

我们衡量通用人工智能（AGI）进展的方式已经过时了。需要有一种新的模式来解决现实世界的动态（即非平稳）复杂性。我们在2018年将能看到更多关于这个全新领域的报道。

（10）我们需要人工智能应用于道德领域

对人工智能更多地应用于道德领域的需求将会增加。现在，人们越来越意识到自动化失控造成的意想不到后果所带来的灾难性影响。我们今天在Facebook、Twitter、谷歌、亚马逊等网站上发现的简单的自动化可能会对社会产生副作用。

我们需要理解部署能够预测人类行为的机器的伦理道德。面部识别是我们拥有的最危险的能力之一。作为一个社会，我们需要要求自己只为了社会的整体利益而使用人工智能，而不是将人工智能作为增加不平等的武器。

在接下来的一年里，我们将会看到更多关于道德的讨论。然而，不要期望会有新的规定出台。在理解人工智能对社会的影响方面，政策制定者往往是落后好几年的。我不期望他们停止玩弄政治、去开始解决真正的社会问题。美国人民已经成为众多安全漏洞的受害者，但我们没有看到政府通过新的立法或采取什么行动来解决这个严重的问题。所以我们自己也不要盲目乐观期待。

原文链接：https://venturebeat.com/2018/01/02/10-predictions-for-deep-learning-in-2018/

编译组出品。编辑：郝鹏程。