波音空难背后：人类到底应该在何种程度上信任AI？

编者按：本文来自微信公众号“港股那点事”（ID：hkstocks），作者 | 风铃里的刀声，数据支持 | 勾股大数据，36氪经授权发布。

3月10日，埃塞俄比亚航空公司一架波音737MAX8客机在起飞6分钟之后坠毁，机上搭乘的149名乘客和8名机组成员全部遇难，其中包括8名中国乘客。

这是近五个月来第二架波音737MAX8客机坠毁。

该机型的上一次空难发生在2018年10月29日，当时印尼狮航的一架载有189人的波音737MAX8客机在起飞13分钟后坠海，机上人员全部遇难。

（当地时间2019年3月10日，埃塞俄比亚首都亚的斯亚贝巴，坠毁客机的乘客亲属在机场大哭，悲痛欲绝。）

短期内连续两场空难，346条鲜活的生命瞬间消逝，这样的惨剧已经引起了全球舆论震动，而两次空难背后的留下的思考已经超越空难本身。对于金融投资领域来说，人们关心的是今晚的波音公司股价波动，但是我们更应该关心的是，人类到底应该在何种程度上信任AI技术。

1

目前尚无证据表明这两起空难之间存在联系，但波音737MAX8是一款新机型，两年前才完成首飞，埃航坠毁的这架飞机才仅仅使用了4个月，而去年狮航坠毁的那架飞机机龄才77天，二者都不存在机械老化问题。这种情况意味着，这款新机型有可能存在设计隐患。

航空制造业对于这类隐患一直都是零容忍的。飞机属于高端制造业，自有飞机以来，安全问题就备受关注，人们可能无法记录这世上的每一起车祸，但每一起空难的经过都有案可查。假如波音737MAX8真的有设计隐患，那波音公司可就摊上大事儿了，随之而来巨额索赔可能会让它遭受致命打击。CNN航空分析师、美国运输部前监察长玛丽·夏沃昨日对埃航事件发表评论时说：“新款飞机，一年内两次坠毁，这种情况根本不应该发生。”

对于波音来说，目前的形势非常糟糕，因为两起空难之间存在着不少相似之处。

比如狮航空难是起飞后13分钟就坠毁，埃航这次空难是起飞6分钟后坠毁，都属于起飞后不久即出现问题。另外，狮航那次空难前几秒钟，飞机高度出现剧烈波动，而埃航这次出事前，飞机的高度确实是下降了，然后在坠毁前恢复了高度。

埃航空难原因目前仍不明朗，但去年10月发生的狮航空难中，有一种比较主流的观点认为，事故的根源在于波音737MAX8安装的那套全新的安全系统。

狮航空难一周后，波音公司曾向全球737MAX用户发出了通告，要求所有的737MAX机组注意，在事故调查过程中发现，飞机AOA迎角传感器错误数据，会导致飞机的尾翼配平系统启动自动保护功能，在未经飞行员操纵的情况下，自动让机头向下。

据称，这个隐藏很深的自动保护功能可以在AOA迎角传感器数据错误导致的自动驾驶断开后，在飞行员手动飞行情况下，自动触发的飞机水平尾翼配平“子程序”。但这一点事先并没有写进飞行手册里，飞行员并不知道有这个设计。如果知道这个设计，那么还是有方法可以控制飞机的。

这个子程序只有在飞机遇到某种特定故障时候，才会自动触发启动保护功能。它只干一件事：压低机头，让飞机进入俯冲状态。

那么是不是这个子程序本身存在的致命问题呢？这个事其实也不好说。触发该子程序的条件是，飞行控制系统通过机身传感器获知机头上扬的角度不断增大，将要进入失速状态，如果不立刻压低机头，飞机就会有坠毁的风险。由此看来，该子程序设计的初衷是没有问题的。

但是，有不少专业人士认为，为了达到省油的目的，MAX加大了发动机尺寸，无奈起落架太短，只好把发动机在机翼上的位置上移，但会造成更大的抬头力矩而容易失速。波音给MAX设计了一个自动低头的配平系统MCAS，但这个系统只要收到错误的信号，就会自动让飞机低头。

资料图：埃塞俄比亚航空公司的飞机。

这个失速保护的子程序非常强势，它能在手动模式下自动开启失速保护，也就是说，它可以在特殊情况下，对飞行员的操作行使“一票否决权”。这套AI系统超级自信，它有极高的权限，它可以否定飞行员的判断，坚持按照自己的程序逻辑一条道走到黑，哪怕前方等待着人们的是死亡，它也不会有丝毫犹豫。

根据这种程序逻辑，在某些特殊情况下，当飞行员还不知道发生了什么事情的时候，该子程序可能会自行启动“拯救”飞机的操作，直接控制水平尾翼，让飞机低头俯冲。而当机组人员发现时，通常会首先启动手动模式。所谓手动模式，一般来说，就是飞行员取回飞行掌控权，自控系统必须听命于飞行员的指挥，但是该子程序可能在手动模式下自动开启失速保护，也就是说，在飞行员认为完全掌控飞机的时候，它仍然在悄悄地争夺控制权。这种人机大战模式相当危险，在空难发生前的短时间内很可能就决定了上百人的生死。

波音考虑过“人机大战”的可能性，所以控制系统内是有命令该子程序彻底停止运行的方法的，但是它隐藏得太深，加上这种情况本身就是极小概率事件，因此很多飞行员不熟悉关闭方法。

在去年的狮航事故中，波音公司辩称，飞行员本应确认该系统正在运行，并将其关闭。但是波音自己心里是清楚的，这个指责多少有点牵强，所以在狮航事故之后，波音立刻发布紧急通告，要求所有航空公司确保他们对飞行员进行了关机程序的培训。

埃航事故原因是否和狮航事故原因一致，目前尚未有结论，但埃航事故发生之后，中国民航总局已经通知国内航空公司立刻停止波音737MAX客机的运行，改由其他机型执行航线运行任务。

2

近年来，汽车的无人驾驶技术进入了大众视野，很多人在畅想未来无人驾驶汽车普及之后的社会场景。在当前的设想场景里，安装了无人驾驶系统的汽车首先应有一个全方位的雷达感应器，它可以感知车身一定距离之外的全景环境，并通过计算机技术实现精算，再作出即时反应，这就是无人驾驶。这种技术听起来似乎很玄妙，但实际上并不高深，它比飞机的自动驾驶系统要简单得多。

那么，既然技术上没有大的障碍，无人驾驶汽车是不是很快就会到来呢？考虑到很多社会配套体系尚未完备，无人驾驶汽车时代可能还要等上一些年头。

飞机为什么要有自动驾驶系统呢？军事无人机是为了最大限度降低降低己方飞行员战损数量，而民用飞机的自动驾驶系统主要是出于驾驶安全本身的考量。人类会疲劳，而驾驶飞机需要飞行员精神高度集中，这种状态会让飞行员更加容易疲劳，但是自动驾驶系统不存在这个问题。

几十年前人类就发明了自动驾驶仪，由机载计算机控制飞机自动飞行。那个时代的自动驾驶仪比较简单，由高度表、陀螺仪、加速度计、简单的电路和检测飞机状态信息的设备构成，由于仪表精度不高，最终校正飞行状态的工作还是需要飞行员去完成，但自动驾驶仪已经在很大程度上减少了飞行员的工作量。

现代的自动驾驶系统则已经有了极大的变化，仪器越来越精密，精准度早已超越了人工所能达到的极限，飞机在自动控制状态下飞行时，任何一点点状态的改变系统都可以察觉出来。飞机在飞行中利用计算机产生精确的信号与地勤保持联系，飞机航线无需飞行员人工干预，校正工作则由卫星定位系统完成。

如此看来，似乎飞行员这个职业已经可以退出历史舞台了，但是实际上并非如此。

由于历史原因，大多数东方人对于科学的认知总是处于极端状态，人们时而视科学如洪水猛兽，时而又视科学如无所不能的神迹。这两种认知都有很大的问题，相对而言，西方人对于科学技术的态度比东方人更加谨慎。

科技的进步有时候是存在重大bug的，而这种bug有时候隐藏得很深。精准的检测、精细的算法、完美的运算过程，这一切看起来都没有问题，但它们并不总是带来正确的结果。AI技术的难点在于，它实在是过于精准了，以致于做出的判断都是非常刚性的，它们习惯于对事物采取一刀切的处理方式，而遗憾的是，世间事有许多并无明晰的界定，甚至那些看似明晰的界定本身也是在不断变化不断修正中的。

随便举个例子。比如判定一个人是不是秃顶，这个标准其实就很模糊。假如他确实一根头发都没有，那么事情就清楚明白了，无论是AI还是普通人，都会认为他就是秃顶。但假如他只有一根头发呢？在AI看来，哪怕它只有一根头发，他也已经不是秃顶了，但在普通人的习惯性认知里，他依然是个秃顶。那么，如果要给AI设计一个程序，到底这个量级应该设置在多少呢？一根头发？两根头发？还是一万根头发？这是一个界限很模糊的事情，在AI的认知中极难判定，但在人类的认知中这几乎不是什么难题。

AI是有漏洞的，它处理问题过于刚性，有时候会酿出惨祸。因此在西方科学界，很多大咖都提醒人类，对待AI要慎重，这是一把双刃剑，它的副作用必须引起警示。

自动驾驶技术也是这样。在飞机上，当然应该装自动驾驶系统，但是在最后决定权的归属上，一般默认人类应该有超越AI的权限。

为什么在最终抉择时，人类选择相信自己呢？这也是一个颇有争议性的话题。

众所周知的事实是，人类存在一大堆弱点。人类自身的计算能力远没有机器精准，躯体远没有机械强悍，在保持客观理性的判断力上，人类也乏善可陈，很多时候人类都是凭情感来做选择的。

那么，人类凭什么这么自信呢？

这也许只是源于人类的盲目自信，甚至是自大，但可能更大的原因在于，人类知道纯粹的刚性思维往往会带来极其严重的社会后果，比如算法歧视、规则排他性等等。一旦AI掌握游戏规则的最终裁定权，很可能会产生一个让人类绝望的AI暴政时代。设想一下，假如AI计算后认为，只有某类人才有生存的价值，那么一场大屠杀就要开始了，那可能比纳粹更离谱。

AI不会自我修正，但人类可以，反省精神可能是人类优于AI的一个方面。

3

已故科学巨匠霍金一直对AI保持警惕的态度。

2016年10月19日，霍金剑桥大学发表演讲。他在演讲中批评了人工智能的无节制发展，他认为，人工智能技术的确有希望带来巨大的福利，比如根除疾病和贫困，但是它同样也可能带来危险，比如强大的自主式武器，或者帮助少数人压迫多数人。

2017年3月，霍金在接受《泰晤士报》采访时再次发出警告，“人类需要控制以人工智能为代表的新兴科技，以防止它们在未来可能对人类生存带来的毁灭性威胁。”他还说，“自从人类文明开始以来，侵略便一直存在，往往出现在相对具有生存能力优势的不同群体之间，而未来人工智能进一步发展便可能具备这种‘优势’。他们本身也是生根于达尔文的进化论之中。因此人类需要利用逻辑和理性去控制未来可能发生的威胁。”

在欧美国家，对于人工智能的立场分为截然不同的很多派别。不过即便是最乐观的派系，也远不及我们身边的大多数人对于AI技术的乐观。

目前我所能查到的国内有关民航无人驾驶系统应用的论文，对于AI技术的态度都是持高度肯定和乐观态度的，甚至很多文章通篇洋溢着浪漫主义的情怀。至于媒体的报道则更是如此，比如前几年关于波音、空客民航大客机做飞行表演时的报道，很多媒体对于AI控制系统成为飞机的实际控制者的消息欢欣鼓舞。在大多数人看来，AI技术只要做好防范黑客攻击这一道关，其他方面都不是问题。

其他领域也是一样，比如关于机器换人的新闻，基本上都持高度肯定及赞赏的态度，金融资本圈对于AI技术、大数据技术的追捧同样是大家有目共睹的。

但是，AI技术对于现实生活的反噬其实已经开始显现。比如，AI技术的基础建立于大数据之上，而大数据非法采集及信息泄露问题，现在层出不穷。但遗憾的是，尽管这个问题已经泛滥了好几年，现在却依然没有看到局面改变的迹象，甚至愈演愈烈。

算法的歧视问题也越来越严重。比如去年IG夺冠，王思聪微博抽奖，113名获奖者中只有1名男性，随即有人发现，几乎所有的微博抽奖都是女性获奖，而有人更是深挖出背后的计算逻辑，即系统并不考虑性别，但如果用户对化妆品之类的商品敏感度高、购买力强，则不会被标注为“垃圾用户”。今年更曝出猛料，如果某女性在某电商平台上买了几条低于128元的裙子，基本上她已经失去了被人追求的价值。

更令人细思极恐的是，在隐私权被无视之后，大数据和AI技术实际上是可以获得你的一切信息的，包括你的容貌、身份信息、指纹、密码、生活习惯，你在网络上留下的任何痕迹都会面临潜在的非法使用风险。那么如果有一天，AI创造了另外一个你，那么你该如何证明自己才是真实的本主呢？

4

结语

当下我们所处的时代还只是一个初级AI时代，不过阿尔法狗已经向人类证明了AI强大的自我学习能力，假以时日，强人工智能时代终将来临。

考虑到硬件的快速发展和软件的创新是同时发生的，强人工智能时代可能比我们预期的更早降临，因为指数级增长的开端可能像蜗牛漫步，但是后期会跑的非常快。

以当下我们身边很多人对AI技术的乐观态度，未来人类会和与人类智能相当的强人工智能电脑平等快乐地生活在一起。或者更理想一点，一群智能远超人类的机器人甘愿为人类的幸福默默地奉献一切。我不知道这种设想是否正确，但我希望它是真的，毕竟谁不希望未来会更加美好呢？

但这个星球上依然有很多人对于AI心存警惕。比如当狮航空难和埃航空难发生之后，仍然有很多人认为，对于关乎人类性命的事情，最后的裁决权依然应该交给人类，而不能交给冰冷的AI，即便它无比强大。