从一场空难讲起：自动驾驶汽车是否也会让人面临自动化悖论

编者按：本文来自微信公众号“新智驾”（ID：AI-Drive），作者：大壮旅，36氪经授权发布。

在民航领域，自动化的普及大大减少了飞行员的工作量和压力，同时也让飞机成了最安全的旅行方式。那么，航空业在安全上的经验教训能应用在自动驾驶汽车上吗？特别是关于驾驶员与车辆互动的问题。为此，有人专门找了人为因素专家来寻找问题答案。

当 Marc Dubois 机长踉踉跄跄冲进机舱时，这里已经是一片混乱的场景。他的飞机正在剧烈晃动，各种报警器发出刺耳的鸣叫，连仪表盘都看不清了。与此同时，两位副驾驶也乱了阵脚，飞机开始直线下坠。

从后来的事故调查报告可知，Dubois 机长不知所踪的那一分钟成了乘客和机组人员永远的噩梦，这场惨痛的事故也成了新飞行员们的必修课。2009 年 6 月 1 日凌晨，法航 AF447 永远消失在了一片漆黑的大西洋中。那么，这期间到底发生了什么？

从打捞起来的黑匣子数据来看，飞机起飞四小时后机长离开驾驶舱准备小憩一会，而此时飞机即将进入雷暴区域。之后客机的空速管结冰失灵，导致自动驾驶系统断开，需要飞行员手动操控。

不过，呼叫机长多次的却遍寻不到的副驾驶最终错误的判断了形势，他选择拉升飞机，导致飞机进入了失速状态。面对急促的失速警告，副驾驶还以为是飞机仪表显示错误。当一分钟后 Dubois 机长回到驾驶舱，一切都为时已晚。

这场罕见事故的黑锅到底应该谁来负责？自动化技术？机组人员？还是两者都有错误？

自动化的福音：飞行事故率已趋近于零

事实上，当年自动化技术进入航空领域时，两者曾被认为是天作之合。“上世纪 70 年代起，飞机座舱的自动化就在不断提高。” 杜克大学的资深研究科学家 Michael Clamann 博士表示。“当时，自动化的普及是为了减少飞行员的心理负担。”

通常来说，如今的飞行员全程只需碰几次控制杆，其他操作都由飞控电脑完成，飞行员更像是沉默的监督员。

自动化的介入让飞行变得更安全，空客的研究显示，如今每一百万次飞行的事故率已经趋近于零。虽然航空公司将自动化当成过去十年最重要的进步，但对它的无条件信任给飞行员和未来的自动驾驶汽车驾驶员都带来了挑战。连续 15 年的安全飞行让 A330 飞行员根本不知道如何应对危险情况。

事实上，航空业多年以前就开始研究自动化对飞行员的影响了。这样一来，汽车行业研究航空业的经验就好理解了，毕竟两者都有着相同的目标：通过消除人类失误来防止事故的发生。

飞行和驾驶差距甚大，但自动化的影响却非常相似

初看来，在天上飞和在地上跑完全没有可比性。前者经过千锤百炼才能拿到执照，整个飞行过程中必须注意到每个细节，而后者可能在驾校里学习两个月就能上路了。

不过在自动化的问题上，Clamann 认为两者是在同一轨道上。“这里不是要拿飞行和驾驶做对比，我们真正要探究的自动化对不同人类操作员的相同影响。”

AF447 血的教训：完美的人机交互在关键时刻能救命

在足球比赛中，我们也会遭遇类似情况，守门员和己方防守球员会盲目的向球扑去，他们确实都在尽力防守，但有时却免不了会相互干涉，这种情况出现主要是因为责任划分不明。在飞行员和驾驶员与自动驾驶交互时，这样的情况同样会出现。人为因素研究专家称其为模式混淆。

“如果一个人希望系统控制整个事情的走向，他就很难掌握即时情况。”Clamann 说。特别是在紧急情况发生时，有缺陷的人机交互（HMI）可能会带来严重后果。

在 Clamann 看来，这就是造成 AF447 悲剧的主要原因。飞机不但没有找到速度传感器里到底出了什么问题，也没能总结出到底如何排除故障。而这时，如果它能将情况准确的传达给飞行员并指导飞行员进行手动操作，也许悲剧就不会发生。

半自动操作状态下，人类应该随时准备拿回控制权，但我们准备好了吗？

自鸣得意和技能退化：这是人类的本性，飞行员也不例外

人类是一种习惯动物，随着我们对工作逐渐熟悉，大多数人会变得自鸣得意。不过，在一些复杂的任务，如开飞机时，自鸣得意是一个恐怖的诅咒。“研究显示，在完成复杂任务时人只能专心 20 分钟，随后就会开小差。”Clamann 说道。“这是人类的本性，飞行员也不例外。”

随后，人类需要一段时间来恢复全神贯注，要拿回车辆控制权则时间更长，而无论是 3 万米的高空还是拥堵的城市道路，这个反应时间都太长了。举例来说，去年的特斯拉致命事故中，驾驶员就是太相信那套 Level 2 系统，在紧急情况下根本来不及做出反应了。

此外，我们还要记得一点：想保持技能就得勤学苦练。飞行员要花大量时间在飞行模拟机里就是这个原因，他们不但要学会应对各种新情况，还得保持自己的技能。而在 AF447 的悲剧中，飞行员们就出现了技能退化，没了计算机辅助他们就不会开飞机了。

更可怕的是，飞行员们天真的认为，有自动驾驶系统在，飞机就不会失速。“自己动手做事可跟在一旁看着机器做不一样。”Clamann 说道。“未来人类可能会出现驾驶技能退化问题，尤其是当自动驾驶汽车进化到 Level 4 阶段（Level 4 依然不够完美，还是需要人类的输入）。”

自动化悖论

AF447 飞行员们遇到的问题可以被称为自动化悖论，从核电站的操作员到游轮的船员都能适用。如果你不相信，可以想想自己还能背出几个电话号码？心算的能力在计算器出现后又退化了多少？

自动化系统越出色，人类操作员的技能就越生疏，因此一旦出问题，状况就会非常极端。

“自动化悖论”可以分为三个层面：

第一，通过具备易于操作的特点以及自动纠错功能，自动化系统可以容忍人工的无能。正因为如此，一个技能不熟练的操作员可以滥竽充数很长时间，直至他的无能被暴露出来——这种无能会制造极大的隐患，几乎可以无限期地存在下去。

第二，即便操作员是专家，由于有了自动化系统，他们的技能得不到练习，久而久之，这种技能也会变得生疏。

第三，自动化系统失效往往发生在异常状况中，或者会造成异常状况，这需要操作员能够熟练地应对。一种更强大、更可靠的自动化系统只会让问题变得更糟。

人机交互应该释放什么信号？它应该如何让驾驶员不开小差？

大多数航空公司的安全机制（训练和体检）在自动驾驶时代已经变得不切实际，因此自动化的影响肯定也会冲击自动驾驶汽车市场。“Level 3 就是个可怕的点子，汽车制造商真应该赶紧甩掉它。”Clamann 说道。在他看来，自动驾驶技术非常不成熟，借助广告词让驾驶员丢开方向盘惬意的看电影简直就是谋杀。“不幸的是，半自动驾驶系统就是在这样腐蚀着人们脆弱的生命。”他解释道。

有解决方案吗？“恐怕最终我们得靠新的交互界面了，它得能靠直觉主动与驾驶员交流与合作。”只有这样，人们才不会轻信自动系统并时刻保持警惕。

有了安全的人机交互，开车发 email 根本不是问题

为了让驾驶员和系统进行相互了解，供应商 Nexteer 董事长 Joe Klesing 建议进行智能交互界面的融合。举例来说，车载摄像头可以追踪驾驶员的疲劳程度，判断他是否能在紧急时刻反应过来。如果需要，车辆还会通过视觉或听觉警告来唤醒司机。

“研究显示，声音警告比视觉的要有效得多。”Clamann 说道。同时，简单明了的命令（如“踩刹车”）可比长篇大论的说明有用。Klesing 认为，抬头显示技术能帮驾驶员注意到迫近的危险。同时，如果启动了自动驾驶功能，可以通过方向盘回缩的动作提醒驾驶员。如果驾驶员想那会控制权，就必须将回缩的方向盘再次拉到面前。

在这里，我们还是要问一个问了几千遍的问题：给系统加入更多自动化功能真的能让它变得更安全？Clamann 认为，在添加自动化功能时，系统会发生改变，同时我们与其互动的方式也会发生变化。在航空业，随着驾驶舱不断自动化，各种针对飞行员的教育也在加强，目的就是帮他们理解这套系统，提早发现其有害影响。

那么，汽车行业也会走上这条道路，保证驾驶员能理解自动驾驶汽车吗？事实上，各家公司都在拼命奔跑，它们都想第一个推出“安全”的自动或半自动驾驶汽车，而市场部门则通过对各种新功能的宣传吹起了自动驾驶的大梦。

讲到这里，先插播一条广告，2018 年 1 月 16 日，新智驾将在美国硅谷举办 GAIR 硅谷智能驾驶峰会，届时也将有多位国内外自动驾驶大牛一起探讨自动驾驶的发展与未来。详情点击文末：“阅读原文”，欢迎大家关注。

回到正题，在这场狂飙突进中，我们却忘了一个关键问题：推出新功能时却忘了给用户提供合适的技术知识，也就是说各家厂商连说明书都懒得提供。

这个问题真的有答案吗？

卡内基梅隆大学的自动驾驶技术专家 Raj Rajkumar 认为，我们距离实现完全自动驾驶，还有 10-20 年时间。在此之前，预计会是一种更为渐进的过程：在较为简单的环境中，让汽车自动驾驶，而人类则在情况变得复杂时接管控制权。

“随着时间的推移，能实现自动驾驶的场景将会不断增多。直到有一天，汽车将能完全自主行驶，但这最后一步将是很小的变化，人们可能都不会注意到。”Rajkumar 解释，而且即便到了那个时候，“还是会有一些事情会超出任何人的控制。”

如果这听起来很可怕，也许是因为它本该如此。乍一看，汽车在情况变得复杂时，会向人类交还控制权，这听起来很合理。但这引出了两个直接的问题。

如果我们希望汽车知道在什么时候移交控制权，其实就是要求系统能够知道自己的能力范围——了解自己在什么状态下能行，以及什么状态下不行。这是非常困难的事情，甚至对人类来说都不简单，更不用说一台计算机了。

另外，如果我们希望人类接管控制权，那么人类如何知道做出适当的反应呢？我们已经知道，当飞机的飞行控制系统断开时，训练有素的飞行员会很难弄清楚究竟发生了何种异常状况。因此，对于人类在计算机即将犯错时及早察觉的能力，我们也理应保持怀疑态度。