人工智能会意识到自己犯错吗？

编者按：本文来自微信公众号“造就”（ID:xingshu100），作者：造就，36氪经授权发布。

 图源：Analytics India Magazine

1956年8月，10位科学家齐聚美国的达特茅斯学院，探讨如何用机器去模拟感知、推理、决策等人类智能，这被认为是人工智能的诞生标志性事件。

六十年过去了，人工智能飞速发展，已深入我们的日常生活。

某些外卖平台的智能算法不断优化，能从11万条路线中找出最优的配送方案，将过去1小时的配送时间变成45分钟，又压缩成38分钟，充分挖掘外卖小哥的潜力，才有了我们越来越快的外卖。

某些公司有了OA算法管理系统的加持，才能实时监控员工的工作状态，员工的心率、呼吸、坐姿、疲劳度等数据实时上传，连上厕所的时间都可以精确到秒，充分挖掘打工人的潜力，才有了公司的完美财报。

某些办公APP，在员工眼中，操作方便，各种需要的功能齐全，却为老板开了“上 帝之眼”，各种报表分析、排行榜、工时计算、行进路线一览无余，才有了我们保质保量完成的“本分”和“福报”。

……

为什么技术越先进，我们的生活反而越不自由？

人工智能究竟是要将我们从繁琐的工作中解放出来，还是要站在我们的对立面压迫我们？

图源：Unsplash

在《AI会取代我们吗？》一书中，科学记者、神经科学家范雪莉梳理了过去60年人工智能的爆炸式发展和未来的发展前景，描绘了人工智能目前的局限和存在的道德伦理问题，使我们对人类与人工智能的关系有了更清醒的认知。

范雪莉接受了中信大方及造就联合发起的提问，回答了一些读者提出的问题：

• 过去20中，AI领域发生的哪件事使你印象最深刻或最惊讶？

• AI对我们的日常生活有哪些影响？

• 你对AI的未来有什么担忧或期待吗？

• AI和人类智能最根本的区别是什么？

• 你认为发展AI是一场技术政治竞赛吗？

以下内容节选自《AI会取代我们吗？》，由出版社授权发布。

不完善的算法会带来可怕的结果，在2016年，一辆半自动特斯拉汽车引发了一起致命的交通事故，这就是一个实例。

事发时，处在自领航（Auto-pilot）模式中的汽车错误地将一辆白色牵引挂车判断为从背光角度看到的明亮天空的一部分，从而导致与拖车底部相撞。

2018年3月，一辆优步机器人汽车在亚利桑那州的坦佩市撞死了一名行人。事后调查发现，人工智能其实已经探测到了这名女子，但算法错误地判断她不在车辆的前进路线上。

不久之后，一辆处于自动驾驶模式中的慧摩汽车受到了一辆人类驾驶的汽车的撞击，该事件也给研究者们出了一个难题：如何改良人工智能驾驶员的程序，才能让它们更好地同人类驾驶员平安无事地共享道路。

几个月后，一辆特斯拉S型（Model S）箱式轿车撞上了一堵混凝土墙，导致两名乘客死亡。

图源：NBC News

不过，尽管发生了这些悲惨的事故，但自动驾驶汽车安全性的整体统计数据还是让人眼前一亮。

例如，慧摩的汽车虽然卷入了大约30起轻微撞车事故中，但只有一起事件是由慧摩车一方引起的。

2016年，一辆慧摩车在自动驾驶模式下变道进入了一辆公共汽车的车道，使汽车遭到了轻微的损伤。但在该事件中并没有任何人受伤。

英特尔在2017年发布的一项研究预测称，自动驾驶汽车的投放可以在短短十年内挽救超过50万人的生命。

尽管如此，公众对人工智能汽车的信任度仍然处在历史最低水平。

皮尤研究中心（Pew Research Center）在2017年展开的一项调查显示，超过一半的受访公众对乘坐自动驾驶汽车不放心，而他们反对的理由正是对安全性的担忧和掌控感的缺失。

美国汽车协会在2018年3月优步车致死事故发生后进行的一项调查显示，有73％的美国人表示自己害怕乘坐自动驾驶汽车，这一数字比2017年底增加10％。

这些担忧有一部分来自人们对机器学习和人工智能背后的机制缺乏了解。

对于公众而言，人工智能就像是一种神秘的炼金术：某些算法在某些时候会产生正确的答案，但是当它们失败时——比如，当Siri对一个提问给出了荒唐的答案时——消费者无法理解其成因是什么。

消费者无法理解Siri给出荒唐答案的成因

图源：Unsplash

同样，当网飞给用户兴趣建立的档案错得离谱时，或者当自动驾驶汽车停靠在了自行车道上时，用户无法追问这类技术到底是在哪里出了问题。

更为严肃的是那些生死攸关的事项，例如对人工智能武器的使用。美国军方正在考虑在军事任务中应用机器学习技术，以帮助情报分析人员对大量监视数据进行模式识别，或者操控自主无人机。

在这些应用中，出错却无法解释自身错误的算法会带来灾难性的后果。

这种缺乏信任的情况也延伸到了医学界。尽管有放射医学人工智能研发者的郑重承诺，但医疗护理从业人员对完全接受人工智能诊断技术仍然持保留态度。

有一种反对意见是，虽然人工智能技术确实振奋人心，但是大多数人工智能工具并没有经过受到足够数量的独立研究组的测试。

因此它们的一些关键细节并没有得到验证，也就是说，它们无法被证明可以应用于所有、任何患者样本。

不过，同Siri、自动驾驶汽车和自主武器面临的问题一样，一个更强有力的反驳意见是：

在今天，无论是对还是错，人工智能系统都无法解释它们的决定，甚至它们的开发者也对促成系统决定的缘由一头雾水。

图源：Pixabay

这一问题十分严重，以至于人工智能算法常常被人们描述为“黑箱系统”。

因此，不可理解性是人工智能算法的一个主要局限，也是阻碍人工智能系统得到公众信任一个重要因素。

机器学习的不透明性在一定程度上是由算法的训练方式造成的。今天我们所使用的大多数人工智能应用都依赖于深度学习，这种人工神经网络的结构与人脑大致相似。

每个这样的神经网络的出发点都是大量的数据，比如数百万张狗的照片。

当数据通过神经网络的复数计算层时，各层会逐步提取出越来越多的抽象特征，使正确的结果能在最终输出层产生出来，如对吉娃娃和迷你杜宾犬做出区别。

但是，由于此过程是在神经网络内部进行的，因此研究人员并不一定能对每个抽象特征做出解释，也不一定能理解网络是如何决定提取特定特征的集合的。

毫无疑问，机器学习具有在各行各业改天换日的巨大能量，它既可以拓展人类的能力，也可以在一些任务中取代人类。

但是，在研究人员找到让算法变得更易理解，继而变得更加有能力为自己负责的方法之前，我们不应该让这种情况发生。

令人欣慰的是，最近的研究表明，我们并非对机器学习的黑箱特征束手无策。实际上，已经有研究人员在着手研发能够探查机器学习大脑内部情况的新工具了，这是一个名为人工智能神经科学的研究分支。

其中一种构思是：微妙地改变算法的输入，并观察是否有影响，以及哪些变化会影响输出，我们就能获得解释。

例如，一种被称为“局部可解释模型–不可知论解释”（Local Interpretable Model–Agnostic Explanation = LIME莱姆）的工具就能通过巧妙改变原始输入来寻找影响人工智能判断的关键因素。

为了了解影响负责电影评分的人工智能的因素，莱姆会细致地删除或更换在一篇影评的原始文本中导致正面评价的单词。然后，系统会观察电影评分可能出现的变化。

反复进行这个过程，莱姆就能梳理出一些结论，比如，“漫威”这个词几乎总是与高评分正相关的。

上述路径的另一个分支是由谷歌开发的，它以一个空白的参照项（比如纯黑的图片）作为开始，然后逐步将其转换为输入图像。

在每一步转化的过程中，研究人员可以观察人工智能生成的图像结果，并推断哪些特征对它的决定很重要。

另一种构思依赖于一种本质上扮演了机器—人类翻译器角色的算法。具体来说，该算法可以向人类观测者解释特定的人工智能正在尝试进行怎样的活动。

OpenAI公司使用该策略来检查用于防御黑客的人工智能算法。这种方法在基础算法之外引入了一个处理自然语言算法，它就是翻译器。

翻译器被用于对防黑客算法提问，考察后者的智慧。研究人员可以观察问答部分，并且在翻译器的帮助下了解在防黑客算法的决策背后所隐藏的逻辑。

当然，有一些人工智能的决策根本无法得到完整的解释，这也是完全有可能的。毕竟，人类的种种决定通常都包含有直觉因素，受到本能和经验的指引。

而对于研究者们来说，他们所面临的问题是在何种程度上，能够让他们的发明去合理地解释自身。

还有一个更为隐蔽的后果，需要我们万分警惕：人工智能算法可能会根据种族、性别或意识形态隐约但系统性地对某些人群给予区别对待。

谷歌的第一代自动相片标签系统曾将非裔人误认为大猩猩，激起了人们的愤怒，就是一个广为人知的负面案例。

普洛帕布利卡（ProPublica）在2016年对一款用于预测罪犯重新犯罪概率的风险评估软件——孔帕斯（COMPAS）进行了调查，结果显示，虽然该软件并没有专门针对种族做出明确设计，但是它依然对黑人抱有偏见。

2017年的一项研究表明，算法在单词联想中也会表现出偏见：男性更可能与工作、数学和科学联想到一起，而女性则会同家庭和艺术联想在一起。这些偏见会对就业招聘产生直接影响。

例如，如果一款人工智能程序认为“男性”与“程序员”两个词有固有的联系，那么，当它在为一个计算机编程职位检索简历的时候，就很可能会将有着一个听起来像男性的名字的简历排到面试表的顶部。

算法在单词联想中也会表现出偏见

图源：绘本I'm glad I'm a boy! I'm glad I'm a girl!

偏见也同样为翻译软件带来了麻烦。例如，在谷歌翻译将其他语言中的一个中性代词翻译为英语的时候，如果这个代词在语境中指的是一位医生，它就会将这个词翻译为男性的“他”（he）；

而如果这个代词在语境中指的是一位护士，它就会将其翻译为女性的“她”（she）。

另外，语音识别软件在处理女性声音和方言时效果要差得多，这就使得那些使用非标准发音方式的社会重要成员受到了排斥。

另外一些算法可能已经以一种不易察觉的方式扭曲了人们接受医疗或保险的类型，改变了他们在刑事司法系统中的待遇，或者对哪些家庭更有可能虐待儿童做出不恰当的预测。

偏见和不公正侵蚀了人类与人工智能系统之间的信任，它并不能像人们一开始预测的那样成为一个对社会贡献巨大的均衡器——在从中立的角度做出影响生活的决定这件事上，人工智能可能并不比人类做得更好。

果真如此，那么社会为什么认为机器可以成为银行从业者、招聘人员、警察或法官“更公正”的替代品呢？

……

2017年，由来自学界、民间组织和产业界的二十多位作者共同发表了一份报告，论述了随着人工智能技术愈发强大和普及，它可能会以哪些方式变成邪恶的帮凶。该报告列举了一系列可怕的例子：

一辆被盗用的自动驾驶汽车可能会被操纵，撞到人群之中，或者被劫持用来运送爆炸物。感染了恶意软件的大脑芯片或心脏起搏器可能被用于远程暗杀，犯罪分子也可以用面部或语音模拟技术进行精准定位网络诈骗。

该报告呼吁，人工智能研究人员应在其科技产品中设置安全保障，并更为公开地讨论潜在的安全、安保问题。

令人惊讶的是，该报告甚至建议研究人员应该在他们为产品公开发布的内容中隐瞒某些想法或应用方式。

如今，大多数研究人员抱有一种公开透明的态度，他们会在博客文章中发布他们的作品，并将代码开源。

该领域的许多人认为，对于可能出现的有问题的人工智能应用，更好的策略是揭示它们，并在它们发生前就给出警告，防患于未然，而不是让它们不为人知地被开发出来。

事实上，在谷歌为其语音模仿程序杜普雷克斯辩护时，也用了同样的论据：通过发布具有潜在破坏性的人工智能程序，公司就能收到公众关于如何最好地对这种技术加以规范的反馈。

在某些人看来，人工智能从业者中的这种开放氛围似乎有些天真，但它其实在一定程度上是由该领域的历史造成的。

在过去，人工智能所经历的几度沉浮让人们觉得人工智能的应用和改变社会的能力被高估了。

对人工智能发展水平持怀疑态度的人相信，有关人工智能道德或伦理的担忧根本没有意义，因为这种技术可能永远不会完全成熟。

人工智能可能永远不会完全成熟

图源：Jason Reed/The Daily Dot

这些反对者的意见并非空穴来风：尽管最近在自动化领域发生了一次革新，但作为当前人工智能热的主要推手，机器学习算法严重的局限性也已经逐渐显露了出来。

如果这些问题没有得到及时解决，导致投资者的期待无法得到满足，那么人工智能的另一个冬天可能就离我们不远了。

书名：《AI会取代我们吗？》

定价：68.00元

ISBN：978-7-5217-2121-8

作者：[英] 雪莉·范 著 / [英] 马修·泰勒编

出版社：中信出版集团

内容简介：

本书紧密贴合人工智能领域的热点新闻事件，如AlphaGo战胜一众顶尖人类围棋棋手、自动驾驶汽车进入市场后的是非、人工智能语音助手与智能家居的爆火、各大互联网平台推荐算法带来的行业变革、人工智能引发的隐私泄露问题等，具有广泛讨论价值与深远影响力。

作者简介：

雪莉·范（Shelly Fan），加州大学旧金山分校的神经科学家。研究方向为大脑老化和复壮可能性。她同时是一名科普作家，主要关注生物科技、人工智能和神经科学相关的话题，曾在《科学美国人Mind》、《探索》、《饮食障碍的科学》和《英属哥伦比亚大学医学期刊》等刊物发表大量科普文章。她还是在线刊物《奇点》的特约编辑，该刊物旨在记录科技的进步。

（本文未经造就授权，禁止转载。）

编辑 | 田晓娜；版面 | 顾天红

视频 | 石原大美