早在1960年代,Geoffrey Hinton的高中时期,就有一个朋友告诉他,人脑的工作原理就像全息图一样。
创建一个3D全息图,需要大量的记录入射光被物体多次反射的结果,然后将这些信息存储进一个庞大的数据库中。大脑储存信息的方式居然与全息图如此类似,大脑并非将记忆储存在一个特定的地方,而是在整个神经网络里传播。Hinton为此深深的着迷。
对Hinton来说,这是他人生的关键,也是他成功的起点。“我非常兴奋,”他回忆到,“那是我第一次真正认识到大脑是如何工作的”。在高中时代谈话的鼓舞之下,Hinton在他的求学期间,在剑桥大学以及爱丁堡大学继续他的神经网络的探索。在80年代早期,他就参与了一个雄心勃勃的关于使用计算机的软硬件来模拟大脑的研究,这形成了早期的AI的一个分支,也就是我们现在所说的“深度学习”。
三十多年的努力,深度学习已成为学术界炙手可热的课题。现如今,Hinton和他的深度学习小团队,包括纽约大学的Yann LeCun教授,蒙特利尔大学的Yoshua Bengio教授,在互联网上已然大有名气。作为多伦多大学的教授和研究员,Hinton也同时为Google工作,使用深度学习技术来改进语音识别,图像标记和其他在线工具。LeCun也在Facebook从事类似的工作。AI风靡全球,微软,IBM,百度和许多网络巨头都为之着迷。
在剑桥大学的心理学专业的本科学习当中,Hinton发现,科学家们并没有真正理解大脑。人类大脑有数十亿个神经细胞,它们之间通过神经突触相互影响,形成极其复杂的相互联系。然而科学家们并不能解释这些具体的影响和联系。神经到底是如何进行学习以及计算的,对于Hinton,这些正是他所关心的问题。
他不知道所有的答案,但在他的努力之下已经取得了进展。“我非常兴奋,我们改进了神经网络,而这是一个比较接近大脑真实工作的方式。”他很高兴的说到。在Hinton的世界里,神经网络本质上就像一个运行在多层面上的软件。他和他的伙伴建立了一层层互相连接的人工神经元模型,模仿大脑的行为,处理视觉和语言等复杂问题。这些人工神经网络可以收集信息,也可以对其做出反应。它们能对事物的外形和声音做出解释。它们对语言的理解也在进步。它们可以自行学习与工作,而不需要人为提示或者参与控制。这些正是它们与传统的学习机器的区别。
随着时间的推移,计算机能力的发展,神经网络也更加快速,灵活,高效,得到了很好的扩展。因为这一切已经酝酿了30年了。
从非主流到核心技术
早在80年代初期,当Hinton和他的同事们刚开始这项研究时,那时的电脑还不够快,不足以处理有关神经网络的这些庞大的数据,他们取得的成就是有限的。而当时AI普遍的研究方向也与他们相反,都在试图寻找捷径,直接模拟出行为,而不是试图通过模仿大脑的运作来实现。
在这样艰难的环境下,Hinton和LeCun仍旧坚持了下来。就算到了2004,学术界对他们的研究仍未提起兴趣。而这时距离他们首次提出“反向传播”算法已经过了20年。这个算法是他们神经网络研究的垫脚石。但也就在这一年,靠着少量的来自Canadian Institute for Advanced Research(CIFAR)以及LeCun和Bengio的资金支持,Hinton创立了Neural Computation and Adaptive Perception(NCAP,神经计算和自适应感知)项目。该项目邀请了来自计算机科学,生物,电子工程,神经科学,物理学和心理学等领域的专家参与。
精心挑选了这些研究人员,Hinton的目的是创建一个世界一流的团队,致力于创建生物智能的模拟——至少他打算模拟出大脑运用视觉、听觉和书面的线索来做出理解并对它的环境做出反应这一过程。Hinton认为建立这样一个小组对AI的研究将是一个创举。在此之前,科学家们和工程师们各自为政,很少与其他领域的人合作。
事实证明他是对的。
得益于计算机能力的提高,NCAP实现了一些早期的想法。他们定期的举行研讨会,研究步伐也加快了。最终他们建立了更有效的深度学习的算法。赢得全球AI界的关注,并成功的吸引到了网络巨头们的注意。
2011年,NCAP研究成员同时也是斯坦福大学的副教授Andrew Ng在Google创立并领导了Google Brain项目,今天,Google正在用神经网络来帮助识别Android手机上的语音命令和Google+网络上标记的图像。去年,Hinton与其他多伦多大学的研究人员加盟了Google,目的就是要把这项工作做进一步的发展。
与此同时,百度也在中国和硅谷创建了自己的AI实验室。微软也把深度学习技术用到了自己的语音识别研究上头。而有了LeCun,Facebook也在进一步探索定向广告和人脸识别技术。
另一个NCAP研究成员,Terry Sejnowski则正在帮助奥巴马实施他斥资1亿美元的“脑计划”(全称:推进创新神经技术脑研究计划)。Sejnowski正是与Hinton一起在80年代初发明了玻尔兹曼机的人,这可是最早的生成式随机神经网络之一。
只用了一年,Hinton和他的团队就让CIFAR看到他们的投资会有多么丰厚的回报。而Google已经尝到了甜头。在这个过程中,Hinton和NCAP已然让人刮目相看。相比传统的工程技术,大学生们更乐意去从事深度学习的研究,来自阿姆斯特丹大学的计算机科学教授Max Welling如是说,“就算是远在荷兰的大学生,他们也知道正在发生什么事,他们都想投奔到这个行业来呢。”
换句话说,深度学习是目前的主流。“我们不再是极端分子了,”Hinton说,“我们现在可是炙手可热的核心技术呢。 ”
Hinton和深度学习的未来
秋季,NCAP在旧金山举行了年度研讨会。该研讨会探讨范围广泛,包括了神经系统科学,机器学习,计算机图形设计,面部识别和运动检测等方面。在演讲途中,Hinton静静的站在讲台附近,大多数情况下,他只是聆听,只是偶尔打断演讲者提出一两个问题,或鼓励他的智囊团提出问题并及时讨论。他的冷静、谦逊与公平,对NCAP的成员来说,建立了一个良好的开放合作的氛围,这给他们带来了鼓励,也直接推进了世界的AI研究工作。
深度学习的革命是迟早会发生的,但有了NCAP,有了Hinton,微软、Google、雅虎等网络巨头在语音识别、人工视觉系统等方面的发展就提前了许多。“Geoff就像正能量,每个人都想向他看齐。”Bruno Olshausen,加州大学伯克利分校的Redwood神经系统科学研究中心的主任如是评价。
即便不是NCAP的成员也对此表示同意。 “在过去的20到30年里,他一直在推动着神经网络和深度学习在前进,”余凯,百度深度学习研究院副院长提到,“在此之前,机器学习或者AI技术从未如此对行业产生过如此迅猛的影响。”
Hinton也在世界范围进行深度学习的演讲,他在多伦多大学依然指导着研究生工作。通过NCAP和CIFAR,Hinton还创办了一个暑期学校,由NCAP的成员进行教学,努力培养新一代的AI研究员。现在有了这么多的公司进军该领域,事情可比以前好办多了。这领域也不仅仅是科技巨头的专利了,像Ersatz, Expect Labs和Declara这样的公司,正在起步。
深度学习下一步会朝着什么方向呢?首要的应该是破译人们发布到网络上的话吧,包括那些状态的更新,即时消息和评论等。这些就有够Facebook,Google和雅虎公司忙上一阵了,他们的目标就是在没有人工的情况下真正理解他们的用户到底在说什么。
“我们希望把AI和CIFAR带到一个美妙的新领域,”Hinton说,“一个还没有人或者程序到达的境界。”
那是要去哪里呢?