在“谷歌大脑”工作的一年，我都学到了些什么？

神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

编者按：大家都知道谷歌大脑是谷歌的科研学术部门，在传奇人物 Jeff Dean的带领下，谷歌大脑在量子计算、人工智能、计算机理论与算法、计算图形学、计算机硬件等等方面做出了丰富的学术成果，而且他们也积极地尝试 AI 技术的应用，比如检测自然灾害、用 AI 辅助传统科研等等，谷歌自己的商业化产品中也使用了许多技术成果。 关于谷歌大脑，在里面工作的人具体感受是什么样的。 机器学习研究员、曾经在谷歌大脑工作本文作者分享了他在谷歌工作的感受，以及个人心得。原文标题Paths to the Future: A Year at Google Brain，作者Akshay Agrawal。

2017-2018年，我在谷歌的AI研究实验室谷歌大脑担任工程师

我目前是斯坦福大学的博士生，和Stephen Boyd一起研究优化和机器学习，但从2017年到2018年，我是谷歌大脑（Google Brain）团队的一名软件工程师。我在获得计算机科学硕士学位（斯坦福大学的）三个月后开始工作，刚刚花了一个夏天的时间来研究一个项目，用于凸优化的特定领域语言。当时，我有点想和我的顾问继续一起工作，但我也有点对谷歌大脑深感好奇。如果能从内部看到一个著名的人工智能（AI）研究实验室，至少会是一次有趣的人类学体验。于是，我加入了谷歌。我的任务是研究TensorFlow，一个用于深度学习的开源软件库。

谷歌大脑是谷歌吸引明星员工的磁石。过去几年，谷歌的CEO桑达尔·皮查伊（他认为人工智能 “比电和火更意义深远”）一直强调谷歌是一家 “人工智能优先”的公司，公司几乎在做的所有事情中都寻求实现机器学习。一个下午，在团队的小厨房里，我看到了皮查伊、联合创始人谢尔盖·布林以及图灵奖得主David Patterson和约翰·亨尼斯(John Hennessy)。

我没有和这些名人员工一起工作，但我确实和一些TensorFlow的开发元老一起工作。这些开发人员在我寻求指导的时候给了我帮助，并习惯性地给了我比我应得的更多的功劳。例如，我的同事让我带头写一篇关于TensorFlow 2的学术论文，尽管我对该技术的贡献比他们小。对我的信任，以及给予我的荣誉，让我比其他时候更加努力地工作。

谷歌大脑的文化让我想起了我读过的关于施乐PARC的文章。在20世纪70年代，PARC的研究人员为个人计算革命铺平了道路，他们开发了图形用户界面，并生产了最早的台式计算机的雏形之一。

PARC的文化记录在PARC研究员Alan Kay撰写的一篇名为《语境的力量》（The Power of the Context）的文章中。Kay将PARC描述为一个高级员工将经验较少的员工视为 “只是还没有获得博士学位的世界级研究人员 ”的地方（类似于我的同事对待我的方式）。Kay接着说，PARC的研究人员都是自我激励的、有能力的 “艺术家”，他们独立或以小团队的形式为类似的愿景而工作。这就形成了一个富有成效的环境，但有时却让人感觉 “失控”：

“伟大的愿景就像一个来自未来的磁场，让所有的铁粒子一样的小艺术家们不用看就能指向 “北方”。然后，他们走出自己的未来之路。施乐公司常常对PARC的过程感到震惊，并宣布它失控，但他们不明白，语境是如此强大和引人注目，善意是如此丰富，艺术家们在他们的愿景中快乐地工作。结果是一系列巨大的突破，其中一些我们至今仍然受益匪浅。”

在谷歌大脑，就像在PARC一样，研究人员和工程师拥有难以置信的自主权。当然，他们也有老板，但他们在选择工作内容上曾经有很大的余地，在寻找 “自己通往未来的道路”上。(我说的是 “曾经有”，而不是 "有"，因为我不确定自从我离开后，谷歌大脑的文化是否发生了变化)。

我举一个例子：几年前，谷歌大脑团队的许多人意识到，机器学习工具更接近于编程语言而不是库，由于这一事实，重新设计他们的工具将释放出更高的生产力。管理层并没有命令工程师去研究这个问题的特定解决方案。相反，几个小团队有机地形成了，每个团队都以自己的方式来解决这个问题。TensorFlow 2.0、Swift for TensorFlow、JAX、Dex、Tangent、Autograph和MLIR都是同一个愿景的不同角度。有的彼此直接冲突，但每一个都因为另一个的存在而得到改进，团队之间经常分享笔记，并在可能的情况下复用对方的解决方案。这些工具中的很多完全有可能不会成为什么更有前途的实验，但也有可能至少有一个是突破性的。

TF 2.0、Swift for TensorFlow和JAX，由谷歌大脑内部的独立子团队开发，是通往同一个愿景的不同路径，一种令人愉快、富有表现力和性能的机器学习编程语言。

我猜测，谷歌大脑所处的类似PARC的环境，对TensorFlow的诞生起到了重要作用。2015年底，谷歌将TensorFlow开源，免费向全世界开放。TensorFlow很快就受到了巨大的欢迎。斯坦福大学和其他大学的讲师在他们的课程中使用它（例如，我的朋友Chip Huyen创建了一门名为TensorFlow for Deep Learning Research的斯坦福课程），世界各地的研究人员使用它来运行实验，公司使用它来训练和部署现实世界中的模型。今天，以标星数来衡量，TensorFlow是Github上众多百万公共软件仓库中第五大最受欢迎的项目。

然而，至少对于TensorFlow来说，谷歌大脑超强的创造力、超强的生产力和 “失控”的文化是一把双刃剑。在为共同的未来开辟自己的道路的过程中，TensorFlow的工程师们发布了许多有着相似目的的功能。随后，这些功能中的许多被去掉，而选择了更有前途的功能。虽然这个过程可能选择了好的功能（比如tf.data和Eager Execution），但它让我们的用户感到沮丧和疲惫，他们需要努力才能跟上。

谷歌TPU，是机器学习的硬件加速器。在谷歌大脑的时候，我创建了一个自定义的TensorFlow操作，让TPU核心之间的计算更容易负载平衡。

谷歌大脑至少在一个方面与PARC不同：与PARC不同的是，PARC臭名昭著地未能将其研究商业化，而谷歌则将在谷歌大脑中孵化的项目生产化。例如谷歌翻译、BERT语言模型（为谷歌搜索提供信息）、TPU（谷歌租给外部客户的硬件加速器，并在内部用于各种生产项目）和谷歌云AI（将AutoML作为服务出售）。从这个意义上说，谷歌大脑是拉里·佩奇的自然延伸，他希望与那些想做 “疯狂的世界性突破的事情 ”的人合作，同时 “一只脚踏进工业界”（正如佩奇在接受沃尔特·艾萨克森采访时所说）。

离开谷歌大脑去读博士是很困难的。我已经习惯了这些好处，而且我也很欣赏这个团队离研究工作很近。最重要的是，我喜欢和一个大型团队一起围绕着TensorFlow 2.0工作，我热衷于打造更好的工具，为更好的头脑服务，但我也喜欢研究提供的创造性表达。

经常有人问我，为什么要报考博士项目，而不干脆让自己参与谷歌大脑的的研究。这就是原因：时代潮流除了深度学习和强化学习之外，几乎没有其他话题的空间。事实上，在2018年，谷歌将 “谷歌研究”重塑为 “谷歌人工智能”，将research.google.com重定向为ai.google.com。(这一品牌重塑可以理解地引起了一些人的注意。似乎这一改变在最近某个时候被悄悄地收回了，Google Research的品牌已经复活了） 虽然我对机器学习很感兴趣，但我不相信今天的人工智能远比电和火更重要，我希望在一个更加智力多元化的环境中接受训练。

事实上，我在谷歌大脑的大部分导师都鼓励我报考博士项目。只有一位研究员强烈劝阻我不要继续读博士，把这段经历比作 “心理折磨”。我被他的暗中警告吓坏了，我没有提出任何后续问题，他也没有详细说明，我们的会面很快就结束了。

一直以来，除了机器学习，我还对凸优化感兴趣，这是计算数学的一个分支，涉及到做出最优选择。凸优化在现实世界中有很多应用，SpaceX用它来降落火箭，自动驾驶汽车用它来跟踪轨迹，金融公司用它来设计投资组合，机器学习工程师也用它来训练模型。虽然研究得很透彻，但作为一种技术，凸优化仍然是年轻的、小众的。我怀疑凸优化有潜力成为一项强大的、广泛使用的技术。我有兴趣做这项工作，一点数学和一点计算机科学的结合，以实现其潜力。我在斯坦福大学的导师是斯蒂芬·博伊德（Stephen Boyd）也许是世界上最顶尖的凸优化应用专家，我实在不能错过在他的指导下进行有益研究的机会。

SpaceX解决凸优化问题，以使其火箭着陆，使用CVXGEN了，斯蒂芬·博伊德的斯坦福实验室开发的二次元编程的代码生成器。

从我离开谷歌开始读博士到现在已经一年多了。从那时起，我与实验室合作发表了多篇论文，其中包括一篇让自动学习凸优化问题结构成为可能的论文，填补了凸优化和深度学习之间的空白。我现在是CVXPY的三个核心开发者之一，CVXPY是一个凸优化的开源库，我对我的研究和工程项目有完全的创造性控制。

谷歌大脑有很多东西让我怀念，最怀念的是我的同事们。但现在，在斯坦福大学，我可以与一群极其聪明和充满激情的人合作并向他们学习，他们中有纯粹的数学家、电气和化学工程师、物理学家、生物学家和计算机科学家。

我不知道毕业后会做什么，但现在，我很开心，也学到了很多东西，做了一点数学方面的事情，写了一些论文，发布了一些真正的软件，并同时探索了几条研究路线。如果我很幸运，其中一个可能会有突破。

译者：蒂克伟