《自然》杂志：人类必须重获无人车的控制权

编者按：最近无人驾驶事故频出，引发了人们对这一事故的担忧。本文探讨了无人驾驶是否应该人为干预的问题。文章出自《自然》杂志，原题为“People must retain control of autonomous vehicles”。

上个月，一名行人被无人驾驶汽车撞死了，之前没有发生过这样的事。在亚利桑那州Tempe，一名女子穿过马路时被算法控制的无人驾驶SUV撞上，抢救无效死亡。当时无人驾驶汽车车内坐有安全驾驶员，他未能阻止事故发生。

虽然这样的事故很罕见，不过数量应该会上升，因为越来越多的无人驾驶汽车在公路上测试，没有人干预。在过去一年里，有几个国家颁布法律，为测试扫清道路。例如，新加坡修改《道路交通法》，允许无人驾驶汽车在指定区域行驶。瑞典交通局允许无人驾驶巴士在斯德哥尔摩北部行驶。在美国，众议院通过了《自动驾驶法案》（ELF DRIVE Act），让各州的法律保持一致。美国参议院也采取了相似的措施，它们投票支持《AV START Act》，为无人驾驶测试清除障碍。

政策制定者对无人驾驶汽车的潜力感到兴奋，无人驾驶汽车可以减少拥堵，减少空气污染，减少交通事故的数量。因为打车服务价格低廉，私家车的数量可能会减少。机器智能可以提高燃油效率，减轻污染。每年，全球有125万人因为车祸死亡，当中许多车祸都是由人引起的，无人驾驶汽车可以拯救无数生命。

政府希望能借助法律让梦想快速变成现实。它们暂时解开了无人驾驶汽车开发者的束缚，开发者拥有豁免权，没有必要达到特定交通安全法规的要求。例如，法规要求车内必须配有人类操作者，汽车必须拥有一些安全组件，比如方向盘、后视镜，这些组件必须自始至终运行。一些开发者虽然在汽车上保留这些东西，但是他们并不一定非要这样做。无人驾驶汽车的安全性真的能与当前的汽车标准匹配吗？并无保证。

新政策会带来一些问题，这些问题还没有找到解决办法。例如，因为个人拥有的汽车数量减少，政府会因此损失巨额的税收。成千上万的汽车、卡车、巴士司机可能会失业。无人驾驶汽车高度依赖机器学习算法，因为算法离完善还很遥远，它的决定可能会影响行人、司机的生与死。

政策制定者必须与学者、制造商密切合作，制定合适的规章制度。难度很大，因为研究工作跨越多个学科。

我们认为有两个领域尤其值得重视，一是责任，二是安全。下面就来谈一谈：

责任

和其它生产商一样，无人驾驶汽车开发者也对损害负有法律责任，这些损害可能是设计缺陷造成的，也可能是制造或者营销造成的。对于无人驾驶汽车来说，潜在的法律风险很大，因为系统很复杂，它以不可预料的方式相互作用。

制造商肯定想将责任降到最低。怎么做？它们可以教育消费者，告诉大家系统是如何运行的，告诉他们如何安全使用系统，这样就可以降低产品误用的概率。例如，药品开发商会提供一些信息，告诉用户药品的剂量是多少，有什么副作用；电子产品制造商会提供使用手册，警告用户不应该做哪些事。这些指南可以改变消费者预期，提高满意度。和智能手机一样，无人驾驶汽车底层技术相当复杂，有些东西很难解释，很难理解。

设计产品时，开发者追求一个目标：简单易用。人们更愿意购买使用简单的产品，他们可以用产品快速做完复杂的事情，增强实用性。不过这样一来用户就不知道系统到底是怎样运行的，也不知道它是否有问题，如何修复。例如，对于计算机汽车，只有少数司机知道如何校准引擎。同样的，当乘客坐进无人驾驶汽车，如果迎来出现汽车，无人驾驶汽车可能会急转弯，乘客不知道它为何这样做；当其它汽车车速很慢时，无人驾驶汽车居然不超车，乘客也不理解为什么。

有一点更让人担忧，深度学习算法本身就是无法预测的。深度学习根据一套不透明的决策机制开发，它依赖先前积累的经验。每一辆汽车的训练方式都是不同的。没有人（甚至包括算法开发者）真正知道无人驾驶汽车在各种环境下会有怎样的反应。

深度学习汽车需要训练多久才算安全？应该怎样训练？法律没有明确的规定。出现同样的紧急情况时，不同制造商的汽车可能会有完全不同的反应。一辆汽车可能会绕开障碍物，另一辆汽车可能会踩刹车。有些交通事件很罕见，比如卡车被风吹倒，要让汽车处理这些罕见的事件相当困难，训练无人驾驶汽车也是一件麻烦事。

我们要用先进的界面告诉用户，无人驾驶汽车正在以正确的方式行驶。看看汽车仪表板，上面会显示车速、剩余汽油的多少。明天的汽车可能不是这样的，上面有显示屏，它会告诉你汽车的“意图”是怎样的，它的管控逻辑又是怎样的；例如，汽车可能会告诉乘客，说它不会超越前面的汽车，因为成功的概率只有10%。应该将哪种类型的数据输入汽车？人如何解释这些数据？我们现在所知甚少。

用户经常会忽视各种信息，即使信息以明确的方式呈现，后果可能事关生死，用户还是会忽视。例如，坐飞机之前，70%的乘客不会阅读安全须知，虽然航空公司要求乘客这样做。安全须知包含一些重要信息，比如如何戴上氧气罩，如何打开安全门，安全须知的内容很简单，只有一页，不过乘客还是不愿意阅读。

自动驾驶汽车需要处理更加复杂的信息。它的传感器、算法必须理解行人的行为，区分不同的驾驶方式，根据光线的变化而变化。当汽车做不到时，用户必须知道如何处理。

找到更好的办法，以更高效的方式展示信息，这点相当重要，颁布法律，确保无人驾驶汽车用户精通技术，这点同样重要。

安全

无人驾驶汽车真的更安全，效率更高吗？主要还是看计算机，看它能否以更快的速度制定比人更好的决策。用户输入目的地，然后将控制权交给计算机。到目前为止，交通运输产业还没有完全接受自动驾驶汽车。我们仍然认为，人类司机更有弹性、适应力更强、更有创造力，对于变化以及无法预料的情况，人类的响应能力更好。当计算机失灵时，人类可以接过控制权。

对于真正的无人驾驶，公众仍然保持谨慎。制造商必须给出解释：一旦关键系统失灵，汽车如何保护乘客？如果危险避开算法失效，如果摄像头出现问题，或者内部地图陷入停滞，无人驾驶汽车必须安全停下。对于工程师来说，要做到很难，例如，一旦没有了摄像头，汽车就变成了瞎子，什么也看不见。

依我们的看法，无人驾驶总是会在某种程度上需要人类的干预。无人驾驶汽车可能会像飞机一样，虽然系统高度自动化，不过还是需要人监督。目前正在测试的无人驾驶汽车偏离这一原则。虽然车内坐有安全驾驶员，但是开发者与监管人员谈论的却是完全的自动化，不需要人。

不论怎样，让人参与总是会带来安全问题。自动驾驶驾汽车需要用户具备一定的技术水平，对于某些人来说，操作并不容易。如果某些人的感官有缺陷，可能会发现很难控制汽车。有一些人会因为自动驾驶受益，他们也会成为问题的根源。比如老年人，随着年龄的增长，他们的感知能力可能会衰退。日本为什么对无人驾驶如此认真？有一个重要的原因就是老年人数量增加。

无人驾驶汽车可能会配备远程监督员，就像飞机的远程空中交通控制者一样。问题来了：如果要让汽车网络安全运行，到底需要多少监督员呢？若是超过了人类的能力，可能会引发事故。例如，1991年，加州洛杉矶一名控制人员因为负荷过重，犯下致命错误，让一架飞机降落在另一架飞机上。

政策漏洞

目前的法律以及正在制定的法律都不能解决这些问题。在安全方面，如果不对开发者加以约束，这本身就是一件危险的事。系统发生事故，开发者不必总是汇报，开发者也没有必要为汽车操作者制定各种规范。这些豁免权之所以存在，是因为人们认为最终无人驾驶汽车不需要人类干预。有些人本来是支持无人驾驶的，不过如果我们看重行业而忽视用户，最终会失去他们的信任。

我们本应该好好教育用户，但是目前的法律忽视这一问题。美国法案只是提供简单的要求，比如在使用技术之前，必须将相关信息告诉用户。用户应该在能力上达到怎样的标准？是否应该通过能力测试？这些提都没有提。因为没有标准，我们很难知道对消费者的教育是否充分。没有检测，事故发生的概率就会上升。

向前看

我们希望政策制定者改变态度，重新思考无人驾驶汽车监管方法，起草法案时从以下6点全面考虑：

——无人驾驶汽车并不意味着没有人类操作者，我们不应该这样认为。监管者和制造商必须认识到，自动化会只是改变了人的工作属性。

——无人驾驶系统是怎样运行的？用户需要获取相关信息。制造商应该了解设备的局限性、可靠性，这些设备对安全至关重要，比如摄像头、激光器、雷达设备。如果有可能，制造商应该将设备数据收集起来，以可以理解的格式加工，提供给汽车操作者，让他们查看。

——操作者必须证明自己具备一定的能力。开发者、研究人员、监管者应该为无人驾驶汽车使用者制定一套标准。我们要对操作者的能力进行测试，发放执照，对当前的驾驶执照进行补充。用户如果达不到标准，使用无人驾驶汽车时会受到限制，比如有些飞行员如果是色盲，晚上不能开飞机，无人驾驶汽车也应该仿效。

——应该定期对用户的能力进行检查，这种检查必须变成强制措施。监管者、制造商、研究人员应该给检测确定一个时间间隔，这样一来，当感知能力变化、技术进化时，可以确保用户的熟悉程度跟得上形势。

——远程监管网络必须稳定可靠。制造商、研究人员、立法者必须建立一套监督系统，对无人驾驶汽车进行监督。研究人员应该为大量汽车提供一套指南，告诉各机构一名监督员可以安全监督几辆汽车，在什么条件下才允许监督汽车。例如，如果天气不好，应该多配一些监督员。

——必须对远程监督人员的工作限制条件进行界定。专家必须澄清一个问题：监督员应该遵守现有工作时间吗？例如，如果是空中交通指挥员，他们的工作受到一个条件的制约：还能工作多长时间。

原文链接：https://www.nature.com/articles/d41586-018-04158-5

编译组出品。编辑：郝鹏程