AI十年：深度学习「革命」如火如荼

我们将如何被记住，取决于我们现在正在做什么。

作者| Sharon Goldman

来源| VentureBeat

出品|产业家

十年前，人工智能先驱Geoffrey Hinton便开始研究深度学习“革命”，被称为人工智能开拓者之一。在近期，他表示，未来，人工智能的快速发展将继续加速。

此前，在2012年实现重大AI突破的关键神经网络研究10周年一次采访中，Hinton和其他领先的AI杰出人物回击了一些批评者，他们认为深度学习“碰壁了”。 

“我们将看到机器人技术的巨大进步——灵巧、敏捷、更顺从的机器人，它们可以像我们一样更高效、更温和地做事。”Hinton 说。

包含AI负责人兼Meta首席科学家Yann LeCun和斯坦福大学教授李飞飞在内的其他AI开拓者同意Hinton的观点——即2012年对ImageNet数据库的开创性研究的结果。他们认为，该数据库旨在解锁重大计算机视觉和整体深度学习方面的进步并将深度学习推向了主流，并引发了一股难以阻挡的势头。

LeCun在接受VentureBeat采访时表示，“如今，这道障碍正在以令人难以置信的速度被清除。”他补充道，“过去四五年的进展令人惊讶。”

Li在2006年发明了ImageNet（一个用于开发计算机视觉算法的大规模人工注释照片数据集），他告诉VentureBeat，自2012年以来，深度学习的发展堪称“一场我做梦也想不到的惊人革命”。 

不过，成功往往会招致批评。也有强烈的声音指出深度学习的局限性，并指责它成功范围是极其狭窄的。他们还坚持认为，神经网络所创造的炒作就是这样，并不能接近一些支持者所说的根本性突破，它是最终帮助我们达到预期的“人工智能”的基础。AGI（通用人工智能）中的推理能力才真正类似于人类。 

纽约大学名誉教授、Robust.AI 的创始人兼首席执行官加里·马库斯 (Gary Marcus) 在去年3月写过一篇关于深度学习“碰壁”的文章，并表示技术虽然取得了进展，但“我们仍旧坚持常识知识和推理的物理世界。” 

华盛顿大学计算语言学教授Emily Bender表示，她认为如今的自然语言处理 (NLP) 和计算机视觉模型加起来并没有“迈向“其他人对AI和AGI的意义的实质性步骤。 

无论如何，批评者不可否认的是，计算机视觉和语言等一些关键应用已经取得巨大进步，成千上万的公司都在争相利用深度学习的力量，这种力量在推荐引擎、翻译软件、聊天机器人等方面均产生出令人印象深刻的成果。 

然而，也有不容忽视的严肃的深度学习争论。例如，围绕人工智能伦理和偏见有一些基本问题需要解决；关于人工智能监管如何保护公众在就业、医疗保健和监控等领域免受歧视的问题。

身处2022，当我们回顾蓬勃发展的AI十年时，VentureBeat提出疑问，我们可以从过去十年的深度学习进步中学到什么？这种改变世界的革命性技术的未来发展会如何，是好是坏？

Hinton一直都知道深度学习“革命”即将到来。

“我们中的很多人相信这一定是（人工智能）的未来，”Hinton说，他在1986年的论文中推广了用于训练多层神经网络的反向传播算法。“可我们设法证明，我们一直相信的东西是正确的。” 

1989年率先使用反向传播和卷积神经网络的LeCun对此表示赞同。他说：“我毫不怀疑未来最终会采用类似于我们在80年代、90年代开发的技术”。 

Hinton和LeCun等人表示了一种相反的观点，即多层神经网络等深度学习架构可以应用于计算机视觉、语音识别、NLP和机器翻译等领域来造就与人类相同或超过人类的专家。他们反驳了那些经常拒绝思考便驳斥他们研究的批评者，他们坚持认为，反向传播和卷积神经网络等算法技术是推动人工智能进步的关键，自1980年代和1990年代的一系列挫折以来，人工智能一直停滞不前。 

与此同时，身兼斯坦福以人为本人工智能研究所联合主任、前谷歌人工智能和机器学习首席科学家的李也对她的假设充满信心，认为通过正确的算法，ImageNet 数据库实现推进计算机视觉和深度学习研究是正确的。 

“这是一种可以开箱即用的机器学习思维方式和高风险举措，”她说，但“我们在科学上相信这项假设是正确的。” 

这些历经数十年人工智能研究发展的理论，直到2012年秋天才被完全证明，许多人认为这引发了一场新的深度学习革命。

2012年10月，Alex Krizhevsky和Ilya Sutskever与Hinton一起获得了博士学位。期间参加了由李创立的ImageNet竞赛（该竞赛旨在评估为大规模对象检测和图像分类而设计的算法），这三人凭借他们的论文ImageNet Classification with Deep Convolutional Neural Networks获胜。该论文使用ImageNet数据库创建了一个名为AlexNet的开创性神经网络。事实证明，它在对不同图像进行分类方面比以前任何方法都准确得多。 

这篇让AI研究界赞叹不已的论文建立在早期突破的基础上，并得益于 ImageNet数据集和更强大的GPU硬件，直接引导了未来十年的主要AI成功案例——从 Google Photos、Google Translate 和 Uber 到 Alexa， DALL-E 和AlphaFold。

此后，人工智能的投资呈指数级增长，人工智能的全球启动资金从2011 年的6.7亿美元增长到2020年的360亿美元，然后在2021年再次翻番，达到770亿美元。 

从2012年ImageNet竞赛之后，媒体机构迅速关注深度学习趋势。次月，《纽约时报》的一篇文章《科学家们在深度学习计划中看到了希望》表示，这种受大脑如何识别模式理论启发出的人工智能技术，在不同领域均取得惊人的进展例如计算机视觉、语音识别和识别用于设计药物的有前途的新分子。文章还表示，新的东西是“深度学习程序的速度和准确性正在不断提高，通常被称之为人工神经网络或简称为‘神经网络’，因为它们与大脑中的神经连接相似。”

其实，AlexNet并不是唯一一家在那些年对深度学习方面大肆关注的人。2012年6月，谷歌X实验室的研究人员构建了一个由16,000个计算机处理器组成的神经网络，具有10亿个连接，随着时间的推移，它开始能够识别“类似猫”的特征，并可以高度准确地识别YouTube上的猫视频。与此同时，Jeffrey Dean和Andrew Ng也在Google Brain进行大规模图像识别方面的突破性工作。在2012 年的IEEE计算机视觉和模式识别会议上，研究人员Dan Ciregan等人显著提高了卷积神经网络在多个图像数据库上的最佳性能。 

总而言之，到2013年，“几乎所有的计算机视觉研究都转向了神经网络。”Hinton 说，他从那时起就在Google Research和多伦多大学之间分配时间。他补充说，从2007年开始，几乎成为人工智能的一次彻底改变，不过当时“在一次会议上发表两篇关于深度学习的论文是不合适的”。 

Li表示，她密切参与深度学习突破，并且在2012年意大利佛罗伦萨会议上亲自宣布了ImageNet竞赛的获胜者——这意味着人们认识到那一刻的重要性也就不足为奇了。 

“[ImageNet]是一个始于2006年的愿景，几乎没有人支持，”李说。但是，它“真的以如此具有历史意义的重大方式获得了回报。” 

自2012年以来，深度学习的发展速度惊人，深度也令人震惊。 

“有一些障碍正在以令人难以置信的速度被清除，”LeCun说，他引用了自然语言理解、文本生成翻译和图像合成方面的进展。

有些领域的进展甚至比预期的要快。对于Hinton来说，这包括在机器翻译中使用神经网络，这在2014年取得了长足的进步。“我曾以为会需要很多年，”他说。李认为计算机视觉的进步例如DALL-E——“比想象中更快。” 

五

然而，并不是所有人都认同深度学习的进展。2012年11月，纽约大学名誉教授、Robust.AI的创始人兼首席执行官Gary Marcus为《纽约客》写了一篇文章，他在文章中说：“套用一句古老的寓言，Hinton建造了一个不错的梯子，但梯子并不一定能让你登上月球。” 

今天，Marcus说，他认为深度学习没有比十年前更接近“月球”——月球是通用人工智能，或人类水平的人工智能。

“当然有进步，但为了登上月球，你必须解决因果理解和自然语言理解和推理，”他说。“在这些事情上没有太大进展。” 

Marcus表示，他认为将神经网络与符号人工智能（在深度学习兴起之前主导该领域的 AI 分支）相结合的混合模型是对抗神经网络极限的前进方向。

Hinton和 LeCun都驳斥了Marcus的批评。

“如果你看看最近的进展，那真是太棒了，”Hinton 说，尽管过去深度学习能够解决的问题范围是有限的。

“我认为有一些障碍需要清除，而这些障碍的解决方案现阶段还并不完全清楚，”LeCun补充说，“但我并未看到进展放缓，可以说，进展正在加速。” 

不过，本德尔并不相信。“在某种程度上，他们只是在谈论根据ImageNet等基准提供的标签对图像进行分类的进展，相较2012年取得了一些质的突破，”她通过电子邮件告诉 VentureBeat，“如果他们在谈论比这更宏大的事情，那都是炒作。”

在其他方面，本德尔也认为人工智能和深度学习领域已经走得太远了。她说：“我确实认为，将非常大的数据集处理成可以生成、合成文本和图像的系统的能力（计算能力 + 有效算法）能够使我们能够以多种方式超越滑雪板。” 不过，“我们似乎陷入了一个循环，人们‘发现’模型有偏见，并提议试图去训练它们，尽管公认的结果是不会出现完全去偏见的数据集或模型。” 

此外，她表示，希望看到该领域遵守真正的问责标准，无论是为了实际测试的经验主张还是为了产品安全。为此，我们需要广大公众了解如何看穿人工智能的炒作，我们需要有效的监管。

然而，LeCun指出，“人们倾向于简化复杂而重要的问题”。并且，许多人“有恶意的假设”。他坚持认为，大多数公司“实际上都想做正确的事”。 

此外，他还抱怨那些不参与人工智能科技和研究的人。

“你要有一个完整的生态系统，”他说，“人们在看台上‘射击’，基本上只是在吸引注意力。”  

尽管这些辩论看起来很激烈，但李强调它们是科学的全部内容。“科学不是真理，科学是寻求真理的旅程。”她说，“这是发现和改进的旅程。所以辩论、批评、庆祝都是其中的一部分。”

然而，一些辩论和批评让她觉得“有点做作”，无论是说AI都是错误的，还是说 AGI指日可待。“我认为这是一场更深入、更微妙、更细致、更多维的科学辩论的相对普及版本。”她说。 

李指出，在过去十年中，人工智能的进步令人失望的并不只是体现在技术上。“我认为最令人失望的事情发生在2014年，当时我和我以前的学生共同创立了AI4ALL，并开始将年轻女性、有色人种学生和服务欠缺社区的学生带入人工智能的世界，”她说。“我们希望看到人工智能世界更加多样化的未来。” 

尽管现在只经历了八年，但她坚持认为变化太过缓慢。“我希望看到更快、更深层次的变化，但却没看到在培育方面付出的足够努力。尤其是在初中和高中年龄段，”她说。“我们已经失去了这么多有才华的学生。” 

LeCun承认，一些人们投入大量资源的AI挑战尚未得到解决，例如自动驾驶。 

“我会说其他人低估了它的复杂性，”他说，并补充说他没有将自己归入这一类别。“我知道这很难，而且需要很长时间，”他声称。“我不同意一些人的说法，他们说我们基本上已经弄清楚了……那不过是让这些模型出现更大问题。” 

事实上，LeCun最近发布了一份创建“自主机器智能”的蓝图，这也表明他认为当前的人工智能方法不会让我们达到人类水平的人工智能。 

但他也看到了深度学习未来的巨大潜力。他说自身最兴奋和积极工作的是让机器更有效地学习——变得更像动物和人类。 

“对我来说，最大的问题是动物学习的基本原则是什么。这是我一直倡导自我监督学习等事物的原因之一。”他说。“这一进展将使我们能够构建出目前完全遥不可及的东西，比如可以在日常生活中帮助我们的智能系统，就好像它们是人类助手一样，这才是我们将需要的东西。因为我们正在为所有人戴上增强现实眼镜，从而不得不与他们互动。” 

Hinton同意深度学习正在取得更多进展。除了机器人技术的进步，他还相信神经网络的基本计算基础设施将会有另一个突破，因为“目前只是用非常擅长做矩阵乘法器的加速器完成数字计算。” 他认为，对于反向传播，需要将模拟信号转换为数字信号。 

“我认为我们会找到在模拟硬件中工作的反向传播的替代方案。”他说。“我非常相信，从长远来看，几乎所有的计算都将以模拟方式完成。” 

李说，对于深度学习的未来，最重要的是交流和教育。“（在 Stanford HAI），我们实际上花费了过多的精力来教育商业领袖、政府、政策制定者、媒体、记者和记者以及整个社会，并创建专题讨论会、会议、研讨会、发布政策简报、行业简报。”   

她补充到，对于如此新的技术，“我个人非常担心出现由于缺乏背景知识而无助于传达对这个时代更细致和更深思熟虑的描述。” 

对于 Hinton 来说，过去十年在深度学习方面取得了“超出我最疯狂梦想”的成功。

“虽然深度学习取得了巨大的进步，但它也应该被记载为计算机硬件进步的时代。因为这完全取决于计算机硬件的进步。”他说。 

像Marcus这样的批评者说，虽然深度学习已经取得了一些进展，但“我认为事后看来这可能是一种不幸。”他表示，我认为2050年的人们会从2022年开始审视这些系统，然后发现，过去的人很勇敢，但却并没有真正发挥作用。

李希望过去十年将被铭记为“伟大的数字革命的开端，它使所有人，而不仅仅是少数人或部分人类，生活和工作得更好。”

她补充说，作为一名科学家，“我永远不会认为当下的深度学习是人工智能探索的终结。” 在社会方面，她希望将人工智能视为“一种令人难以置信的技术工具，用以人为本的方式被开发和使用。我们必须认识到这种工具的深远影响，并接受以人为本的思维框架以及设计和部署人工智能。

“（毕竟）我们将如何被记住，取决于我们现在正在做什么。” 

本文发自VentureBeat，原题为“10 years later, deep learning ‘revolution’ rages on, say AI pioneers Hinton, LeCun and Li”，作者Sharon Goldman，经作者编译整理，供业内参考。