汽车智能化进程中的“灰犀牛”，大概率危机会来自哪里？

编者按：本文来自微信公众号“车云”（ID：cheyunwang），作者：飞行的摄影师；36氪经授权转载。

古根海姆学者奖获得者米歇尔·渥克所撰写的《灰犀牛：如何应对大概率危机》一书中，作者把“灰犀牛”比喻为大概率且影响巨大的潜在危机，相比于大家熟知的“黑天鹅”——比喻小概率而影响巨大的事件，“灰犀牛”事件更加危险，并且各个方面累计起来的发生概率更大。

当汽车的智能化水平越来越高，越来越依靠通过传感器和即时互联信息系统进行控制和决策交互的时候，“灰犀牛”的影子已经在汽车上若隐若现。

一段时间以前，车云菌在测试某车型搭载的自然语音系统的时候，发生了这么几段人机对话：

对话一（如下图）：

用户：“车里好冷”

车机：“冻死你”

如果说，这个回答可以看做是车机系统的一个并非完全恶意的黑色玩笑的话，那么下面这个对话，可能让你大吃一惊。

对话二（如下图）：

用户：“不能插嘴不智能”

车机：“你插嘴还要XX”

本来，我的本意是想测试车机系统是否具有“插话功能”，但测试结果让我有点儿小失望，所以无意之中自言自语了一句“不能插嘴不智能”，而且我还把“插话”误用口语化的“插嘴”给代替了，但没想到自然语音系统竟然给出了这个反馈。

发生这个对话之后，我测试了“插话”、“插言”、“插嘴”等几个关键词，看系统的这个回答是否具有普遍性，但结果证明，这个“污污”的回答，只针对特定的输入有效。

事后，我针对这个问题咨询了业内很多AI技术、自然语音技术从业者的建议，得到了两个主要的解释，基于这些释疑，车云菌发现：

当汽车越来越智能化、互联化的时候，我们对潜在的危机并没有做好防范意识，汽车智能AI领域的“灰犀牛”，已经在智能化丛林的边缘若隐若现。

解释1：来自工程师的道德风险

在一些不认为AI技术还那么“智能化”的从业者眼中，自然语音系统这个“污污”的回答，被认为是一些工程师给系统程序埋设的“应答暗号”，只有特定的提问“钥匙”，才能启动系统的特殊“反应”。

这么做，一方面可能是为了一些后门做铺垫，也有可能仅仅是因为某个工程师的“恶作剧”导致的，但是再小的“恶作剧”，也可能带来巨大的灾难，比如说：

2015年3月24日，德国之翼一架编号为4U9525的空客A320型客机在阿尔卑斯山脉南麓坠毁，机上人员人员无一幸免，事情的起因就是由于副驾驶心理疾病导致的自杀行为；并且，我们至今依然无法抹去记忆的MH370事件， 也有大量证据指向了驾驶员的心理问题。

所以，如果某个工程师有机会能被“恶作剧”心理驱使，设计出这么一个让人小小不舒服的“隐藏彩蛋”，那么是不是会有一些其他人，会在程序中设计好了“定时炸弹”呢？

解释2：来自AI的作乱

这个问题出现的当时，车云菌第一反应是“自然语音系统”的学习机制出了问题，学到了一些不该学的内容。事实上，这个想法在一些业内人士的回答中也得到了佐证。

任何一个具有一定智力水平的AI系统，在学习人类的语言的时候，跟人类学习一门外语的过程有些相似，都需要一个句子一个句子的熟悉和记忆，但是市面上的软件相比于人类缺乏的能力是：软件无法识别对话的语境和语气，只能靠机械的关键词识别和组合，来实现一问一答的“人机对话”。

有意思的是，在人类学习语言的过程中，一般学会的第一句话是“我爱你”，然后学到的很多内容，就是不可避免的零七八碎的“脏话”了。

因此，对那些有先天优势能获取人类对话的公司来说（比如腾讯微信、百度搜索等），语音学习程序无法避免地会接触到很多不堪入目的内容，此时如果AI程序不懂得什么“该学”，什么“不该学”，而且作为“监考老师”角色的程序员也没有对程序学习到的每一个内容都进行过滤，那么最后“毕业”的AI智能程序，就是一个隐藏了“祸心”的瑕疵产品。

随着智能技术继续迭代，这个“祸心”越藏越深，越来越难以发现，并有可能在未来特定时间爆发，造成不可弥补的损失。

总结：

通过这个特定案例，我们能发现，那些在汽车上、包括各种眼下的智能终端中搭载的智能化技术，未必所有产品都做到了完全的“智能化”水平，最起码由工程师道德素质和产品学习机制合理性、可靠性来双重钳制的“智能程序道德水准”，眼下还没有一个公认的标准，这就导致了你家的智能音响，保不齐某一天就会给你秀一下下限。

这是来自软件设计层面的第一道风险，也是我们在未来需要首先构筑的第一道屏障的所在。

其次，作为采购“智能技术”的产品制造商，对自己使用的智能化产品是否需要设计一个包含但不完全局限于“道德”层面的过滤机制，是目前作为智能化前沿的汽车制造商所需要考虑的核心问题。

在很多国际化的合资企业中，整车制造商对采购的产品的每一个技术细节、指令权限和影响范围都会与供应商工程师一一确认（比如宝马对车机系统供应商的采购要求就是如此），这确实能规避很多的风险。

但即使如此，熟稔于机械制造却对软件与大数据都是门外汉的整车制造商，依然无法对隐藏在云端数据库中的海量数据做到“门清”。所以，如何对外来的汽车信息化技术逐步放权，设计一个自己可以控制的缓冲区或者沙盒机制以应对不测危机，将是眼下摆在整车制造商眼前的挑战。

相比之下，那些把车机系统整个外包给供应商进行设计，自己只负责做指令接口的整车制造商，做法就有些太孤注一掷了，这个行为的本身就意味着天大的风险。

车云菌在发现这个问题的当天，就把这个信息和截图直接反馈给了相应的产品负责人和工程师，希望其能迅速找到解决问题的对策，并把这个问题反馈给软件设计公司。

而读者看到这篇文章的时候，已经距离发现问题过去了一段时间，希望这段时间内，这个问题能引起整车制造商和软件公司的充分重视，做好充分的防范机制，避免此类的“灰犀牛”再次出现在丛林边缘，因为我们需要知道：

每一次灾难的发生之前，都会有数次小型隐患出现，如果我们对这些小线索视而不见，未来大灾难的发生就是必然并且迅速的。