【Elon Musk & YC 专访】如何防止人工智能颠覆 ？

编者按：为了防止有朝一日人工智能的发展会颠覆人类，包括Elon Musk、Reid Hoffman等诸位美国创新型科技行业的风云人物共同出资超过10亿美元，于12月12日宣布成立一家非营利的独立研究机构——OpenAI。该组织想要实现人工智能最先进的形态，并将研究结果向公众公开。Medium专栏作家Steven Levy为此采访了OpenAI的领导者，看他们如何描述这个计划和它的未来愿景。

本文转载自微信订阅号“新智元”，编译作者为王婉婷和王嘉俊。特此感谢。您可关注“新智元”（Al_era）了解更多人工智能最前沿资讯。

为了追求人工智能最先进的形态并将研究结果向公众公开，他们资助了一个新成立的组织，OpenAI。

像是AI领域的竞争还不够激烈一样——要知道Google、Facebook、Microsoft之类的巨头，甚至还有Toyota这样的汽车公司，都在急匆匆地招募研究人员——现在又有了一个新的组织渴求研究者，但又有一些不同之处。

它是一个非营利性的合资组织，叫做“OpenAI”。今天它被宣布成立，宣称将会向公众公开它所有的研究成果，并且授予它所有的专利买断式授权（royalty-free，译者注：用来宣告一项具有版权、专利或著作权的产品能（永久或特定时段）被使用而不需要支付权利金或执照费（License fee），来自维基百科）。这一切都是为了确保有朝一日计算机超越人类智力的可怕前景，将不会变得像一些人恐惧的反乌托邦（dystopia）那样让人绝望。OpenAI的资金来自于一群科技行业的权威，包括Elon Musk、Reid Hoffman、Peter Thiel、Jessica Livingston、以及Amazon云服务。他们承诺，将在未来很长一段时间内向这个组织投入总共超过10亿美元的资金。这个组织的联合董事长分别是Elon Musk和Sam Altman（Y Combinator的CEO）。

众所周知，Musk是AI的批判者，他加入这样一个组织并不让人意外。但Y Combinator是什么？没错，这就是那家10年前从一个夏季计划中脱胎而出的科技孵化器，当时以给“拉面工资”、然后反馈美食建议的形式资助了6家初创企业，通过这种方式让它们能够快速扩张自己的业务。从那时起，YC已经帮助创立了接近1000家公司，包括Dropbox、Airbnb、以及Stripe，并在最近设立了一个研究部门。过去的2年间，YC一直由Altman领导着。他的公司Loopt曾经是2005年YC初创时孵化的公司之一，在2012年他以4340万美元的价格出售了这家公司。虽然YC和Altman都是OpenAI的创始人，并且Altman还担任了联合董事长的职务，但是OpenAI的确是一个与这些公司无关的、独立的合资组织。

本质上，OpenAI是一个研究实验室，旨在削减两类组织的力量：包括因为拥有营利的超级智能系统（super-intelligence systems）而可能获得过多力量的大型组织，以及可能使用AI来获取力量甚至用来压迫本国公民的政府机构。这可能听上去非常唐吉坷德，但这个团队已经募集到了一批精英，包括Stripe前CTO Greg Brockman（他将担任OpenAI的CTO）以及世界一流的研究者Ilya Sutskever。Ilya Sutskever曾经为Google工作过，是在多伦多接受神经网络先驱Geoff Hinton指导的年轻科学家团队的一员。他将担任OpenAI的研究主管。其他的人马还有一群顶尖的天赋很高的年轻人，他们的简历中囊括了主要的学术团体、Facebook AI以及Google在2014年收购的AI公司DeepMind。OpenAI还有一个星光熠熠的顾问委员会，顶尖的计算机科学家Alan Kay也名列其中。

OpenAI的领导者们对我描述了这个计划和它的未来愿景。整个采访是分成两部分进行的，首先是与Altman的对话，然后是与Altman、Musk、以及Brockman一起讨论的部分。我将整个访谈融合在一起，编辑成了简要清晰的格式。

这一切是怎么来的？

Sam Altman：我们大约是在一个半月以前启动YC研究部门的，但我一直以来都在思考AI的问题，Elon也是。如果你想想对于世界的未来而言哪些东西最重要，我觉得一个善良的AI（good AI）可能是这张列表上首当其冲的几项之一。所以我们创立了OpenAI。这个组织正在尝试研发出一种对人类友好的AI（human positive AI）。而且因为它是一个非营利性组织，全世界都能享用它的研究成果。

Elon Musk：就像你知道的那样，我对AI有所顾虑已经有一段时间了。我和Sam，和Reid [Hoffman]，和Peter Thiel，还有其他人，谈了许多次。我们在思考，“有没有某种方法可以确保——或者提升——AI以有益的方式发展的概率？”作为几次谈话的结果，我们得出了创立一个501c3组织的结论（译者注：501(c)是美国国内税收法（Internal Revenue Code, IRC）中的一项条款（美国国内税收法, § 501(c)），列出了26种享受联邦所得税 （federal Income tax）减免的非营利组织，501(c)(3)为宗教、教育、慈善、科学、文学、公共安全测试 （Testing for public safety）、促进业余体育竞争和防止虐待儿童或动物等七个类型的组织，来自维基百科）：一家非营利性组织，不具有让利润最大化的义务，可能会是一件不错的事情。同时，我们也会对安全性非常重视。

那么从哲学的角度上来说就有了一个重要的元素：我们希望AI能被广泛传播。有两种流派的思想——你是想要AI的数量很多，还是很少？我们认为可能数量多是一件好事。而且从你可以将它作为人类意愿的延伸这个方面来看，这也是一件好事。

人类意愿？

Musk：就像你自身有一个AI的延伸部分，每个人在本质上都与AI共生、而不是AI作为一个与你无关的大型中央智能（large central intelligence）。想象一下你将会怎么使用，比如说网络上的应用：你可以收发邮件、玩转社交媒体、你的手机上还有许多其它app——它们让你变成了一个能做很多事的超人，而你并不会认为它们是与你无关的，你会觉得它们是你的延伸。所以我们想要尽力引导AI往这个方向发展。我们已经找到了一些和我们有相似理念的AI领域的工程师和研究者。

Altman：我们认为AI发展的最好方式就是，它应该是关于让个人变得强大、让人类的生活变得更好的东西，对于所有人来说都是免费的，而不是一个比其他人类强大一百万倍的精英。因为我们并不是一个比如Google那样的追求盈利的公司，我们可以不用关注于如何让股东们财源滚滚，而是关注于对于人类未来而言，我们相信的、在实际上最好的东西。

Google不是也将它的进展与公众分享吗？比如它最近在机器学习领域做的那样

Altman：他们的确与公众分享了许多研究成果。随着时间过去，随着我们逐渐接近那种超越人类智能的东西，Google还会与公众分享多少成果是值得怀疑的。

你们在OpenAI中研究的东西不是也会超越人类智能吗？

Altman：我预期它会，但是它会是开源的，任何人都能使用，而不是只能被，比如说Google，来使用。这个团体研发的任何东西都将对所有人开放。如果你拿去以后做了一些改变、让它适应其他用途，你也不会有义务要和公众分享你的成果。但是只要是我们做的任何工作，都会对所有人开放。

如果我是邪恶博士（Dr. Evil），我利用了它，那么你们不就是在助纣为虐吗？

Musk：我想这是一个很精彩的问题，我们为这个争论过不少次。

Altman：关于这个问题有一些不同的思路。就像科幻作品中用“大部分人类都是善良的，而人类的集体力量中可能有一些邪恶的元素”的事实来对抗邪恶博士那样，我们认为，比起一个单独的比其他任何东西都强大无数倍的AI，许多许多的AI致力于阻止偶尔出现的邪恶AI，这种可能性要大得多。如果那个强大无比的AI脱离了人类掌控，或者邪恶博士得到了它、没有东西能与它抗衡，那么我们就真的落到了很糟糕的境地。

对于OpenAI公布的东西，你们会有监管吗？

Altman：我们的确希望能够随着时间建立起监管机制。一开始将只有Elon和我。我们距离实际开发出真正的AI还有很长很长的距离。但我想我们将会有足够的时间来建立监管的机制。

Musk：我确实想要将一些时间花在这个团队上，大概会是每周在办公室花上一两个下午的时间来了解研究进展、提供我的想法和反馈，对于AI的现状和我们是否在接近一种危险的东西有一些更深的理解。我个人将会对安全性极其敏感，我对这个问题有许多顾虑。如果我们看到了某种我们认为在安全性上有风险的东西，我们会将其公之于众。

什么是邪恶的人工智能（Bad AI），能举个例子么？

Altman：实际上，邪恶的人工智能基本都和科幻小说描绘的差不多，但像终结者那样的人工智能技术，还需要一段时间才能出现。我在短期内丝毫不担心它们。不过有一件事我的确认为是挑战：自动化的普及，以及工作被机器人取代。另一个邪恶的人工智能例子是，人工智能程序能够像黑客那样进入电脑，而且这方面要远比人类强大。这些事现在已经发生了。

你的系统已经建立好了吗？

Altman：还没有，开始会像研究实验室那样，而且在长期的时间里，也都会以这样的形式存在。现在我们还不知道怎么去建造这个系统。从第一天开始，我们有了 8 名研究者，未来几个月还会有更多人加入。现在他们会使用 YC 孵化器的办公空间，当他们逐渐成长后才会搬出去独立办公。他们也会不断演练想法，编写程序来看是否能加速现在人工智能技术的进展。

组织外的人，可以加入到项目中么？

Altman：当然可以了。我们把项目以完全开放的形式进行，自由分享信息，这样的好处是能和任何人合作。你很难和 Google 的员工合作，因为他们有一大堆保密条款。

Sam，既然 Open AI 会最早入驻 YC 孵化器，你的创业公司们会参与到 Open AI 的工作么？（更正：Altman 现在告诉我说，办公室会在旧金山。）

Altman：如果 OpenAI 的确开发了不错的技术，而且所有人都可以免费使用并造福于科技公司。不过也仅仅是这样了。但我们会询问 YC 孵化器的公司们，在自愿的情况下开放合适的数据给 OpenAI。Elon Musk 也在考虑 Tesla 和 Space X 公司能分享哪些数据。

你们会分享什么类型的数据？

Altman：这有很多。例如说所有的 Reddit 数据都会是非常有用的训练集。你也可以想象，所有的特斯拉自动驾驶视频也会变得很有价值。大量的数据的确很重要。如果你思考人类如何变得聪明，当你读书的时候，你变得聪明，当我读书的时候，我变得聪明。但是我并不会因为你读书而变得聪明，反过来也一样。但是使用特斯拉作为例子，当一辆特斯拉学会新的习惯，那么所有的特斯拉都会立刻从它的智能获得收益。

Musk：实话说我们并没有非常详细的专门计划，因为它还处在公司非常初创的阶段。这是一种萌芽期的状态。但确信的是，特斯拉会有大量的数据，关于真实世界的数据，因为我们的轮子每年都会积累几百万的公里数。也许特斯拉相比世界上任何其他的公司，都有更多的真实世界数据。

Tesla CEO 和产品架构师 Elon Musk，YC 孵化器主席 Sam Altman

AI 需要大量的计算能力。你们打算怎么部署基础设施？

Altman：我们正和亚马逊云服务合作，他们为项目捐献了大量的基础设施服务。

你们要向项目投资 10 亿美元？

Musk：我得说最后的资金投资会超过 10 亿美元。我们并不想出具详细的资金来源统计分析，但是我们在博客中提到了为项目做出杰出贡献的人。

这个项目会持续多久？

Altman：这取决于它需要多长时间建立起来。我们会尽可能的节俭，但这也许是几十年的项目，需要很多人参与，也需要很多的硬件设施。

而你们不需要去赚钱？

Musk：对的。这不是利益取向的投资。也许它未来能够产生收入，就像斯坦福实验室 501c3 项目一样。所以未来也许会有收入，但不会有利润给股份持有者分红，也不会有股票价格或其他任何可以获利的东西。我们认为这样会比较好。

Elon，你在早些时间投资了人工智能公司 DeepMind，而现在似乎是相同的理由，来确保人工智能受到监督。然后 Google 收购了 DeepMind，这是你的第二次尝试么？

Musk：我得强调，我并不是通常意义的投资者。我不寻求投资和财务上的回报。我给自己参与创立的公司投资，有时候是出于帮助朋友，有时候是因为我的信仰，也有的时候是因为我关心的事情。我并不是出于分散风险或者物质意义上的考虑。不过，我对 DeepMind 所谓的投资，不过是为了更好的理解人工智能，并且能够时刻看到它的进展。

你们现在要和 DeepMind、Facebook 和微软竞争最好的科研人员么？

Altman：我们的招聘计划进展的不错。对科研人员真正有吸引力的是自由度和开放性，以及分享他们研究项目的许可程度，但是在产业实验室里面，你很难达到相同的权限。我们得以吸引力非常高质量的初创团队，而其他人会想着加入，以和这样的团队一起工作。最后我认为，我们的使命、愿景和管理架构真的对人们有吸引力。

你们最终会雇佣多少人？一百多？

Altman：也许吧。

我得回到最初的想法，通过把人工智能分享出去，我们或许可以避免它最糟糕的结果。但是把人工智能变得可以公开获得，是否会增加它的潜在危险？

Altman：我和 Elon Musk 以及其他人就这个问题讨论了很长的时间，不过我到现在都不是 100% 的确定。你永远也不可能 100% 确定，不是么？不过我们可以有不同的剧本，通过加密技术来保障安全，通常不怎么管用。如果只有一个机构能有这样的技术，你怎么决定它应该是 Google、美国政府、中国政府、ISIS 或其他？世界上有很多邪恶的人，但人类却依然生生不息。但是，如果其中某个坏人拥有了超出其他人类 10 亿倍的能力，那世界将会怎样？

Musk：我认为抵抗AI错误使用的最好办法，就是让人们尽可能去拥有AI。如果每个人都有AI的力量，那就不会有个人或小团体拥有AI的超级力量。

Elon，你是两个公司的CEO和一家公司的董事长。你还有足够的时间投入到新项目么？

Musk：那确实。但我心里一直都在考虑AI的安全性，所以我还是应该做个交易换来心灵平静。