36氪领读 | 算法霸权：欢迎参观大数据的阴暗面

36氪专门为读书设立了【36氪领读】栏目，筛选一些值得读的书，并提供一些书摘。希望你手边有一本称心的书，让读书这场运动继续下去。

未来20年，算法和大数据将席卷世界，接管我们的生活、社会和经济。我们生活中的很多方面都将落入自动化的数据分析之下。确保算法和大数据的公平性将是一项重大的任务，数据伦理的价值和意义将不断凸显出来。在作者看来，大数据犹如一个黑盒，规模、伤害和隐秘共存，她在书中引用了大量发生在美国当下的、基于大数据和算法的、改变个人生活的案例，并对影响这些城市生活经验的算法做了特别的观察和研究。

小时候，我常常盯着车窗外的车流，研究车牌号。我会把每个车牌号分解成素数，如：45=3*3*5。这叫做因式分解，是我最喜欢的研究消遣。我这个小数学迷对素数问题特别感兴趣。

我对数学的爱好最终发展成热爱。14岁时我参加数学大本营，带回来一个心爱的魔方。数学使我彻底逃脱现实世界的混乱。经过一步步证明，数学不断发展，知识领域不断扩大。我也加入到数学领域中，上大学时主修数学，后来取得博士学位。我的论文研究代数理论，这一领域根源于我小时候爱做的因式分解。最后，我成为巴纳德学院的终身教授，该学院与哥伦比亚大学联合培养数学系。

后来，我做了一个重大的改变。我从大学离职，到顶尖对冲基金D.E.Shaw担任数学分析专家。我离开学术界进入到金融领域，把抽象的数学理论应用到实践中。我们所做的数据分析为一个又一个账户变现数万亿美元。起初，在这新研究室研究全球经济我感到兴奋又震撼。但是，我在那儿工作一年多以后，2008年的秋天，全球金融危机爆发。

很明显，金融危机使得我曾经的庇护所数学不仅卷入了世界问题中，还助推了其中的许多问题。房地产危机，重大金融机构倒闭，失业率上升，数学家通过运用神奇的公式成为这些问题的帮凶。而且，数学的功能特别强大，这一点我非常喜欢，一旦数学与科技结合，系统的效率会提高，规模扩大，混乱和不幸就会倍增，我现在意识到这是一种缺陷。

要是我们当时头脑清醒的话，就会后退一步思考，数学是怎么被我们误用的，我们该如何防止未来发生同样的灾祸？但是，金融危机以后，数学新技术比以往更热门，甚至延伸到更多领域，每时每刻都在搅动着海量信息，大多数数据都是由社交媒体或者电子商务网站搜刮而来。而且，数学逐渐不再关注全球金融市场动态，而是关注我们人类。数学家和统计学家一直在研究我们的欲望、行动和消能费力。他们一直在预测我们的信用，评估学生、职员、情人以及罪犯的潜力。

这是大数据经济，收益前景非常可观。一个电脑程序可以在1-2秒内快速扫描成千上万份简历或是贷款申请，然后整理成清晰的列表，最有潜力的求职者位居前列。这不仅节约时间，而且还公平客观。毕竟，电脑程序不像人类带有个人偏见，而只是一种处理无情数字的机器。到2010年左右，数学破天荒地介入人类事物，公众热烈欢迎数学这一工具。

但是，我看到了麻烦。数学应用助推数据经济，但这些应用的建立是基于不可靠的人类所做的选择。有些选择无疑是出于好意。但是，其中有许多模型把人类偏见、误解和偏爱编入软件系统，这些系统日益操控我们的生活。这些数学模型像上帝一样模糊不清，只有该领域的最高牧师即数学家和计算机科学家才能明白模型是如何运作的。人们对模型得出的结论毫无争议，从不上诉，即使结论是错误的或是有害的。而且模型往往会惩罚社会中的穷人和受压迫的人，而富人因此更加富有。

我为这些有害模型提出了一个名称：数学毁灭武器，或者简写成WMD。接下来我将用一个例子向你们阐明这种模型的破坏特点。

这个案例和很多案例一样，出发点是好的。2007年，华盛顿特区新上任市长艾德里安·芬提（Adrian Fenty）下定决心改善本市教学质量不佳的学校。当时，几乎每两个中学生中就有一个九年级学生勉强才能毕业，只有8%的八年级学生在数学上的表现达标。市长芬提聘用教育改革者李阳熙（Michelle Rhee）担任华盛顿市教育总督。

当时流行的理论是学生学得不够好是因为老师教得不好。所以，在2009年，教育总督李阳熙落实开除教学表现差的教师的计划。这是全美教学质量差的地区的一种趋势，而且从系统工程的角度看，这种想法非常有意义：评估教师。开除最差的教师，把最好的老师调到最有用武之地的地方发挥他们的才干。用数据专家的话来说就是，“优化”学校系统，尽可能保证提供给孩子好的教育。除了“差”教师，谁还能与此争论？教育总督李阳熙开发了一个叫作IMPACT的教师评估工具，在2009-2010学年底，华盛顿特区开除了得分垫底的2%的教师。第二年年底，又开除5%，也就是206名教师。

华盛顿特区五年级教师萨拉·韦索基（Sarah Wysocki）似乎没有任何理由担心。她在麦克法兰中学仅任教两年就得到校长和学生家长的好评。校长表扬她对孩子专心，学生家长称她是“我接触过的老师中最好的一个”。

但是在2010-2011年年底，韦索基得到IMPACT的评分很惨。她的问题来自一个叫作增值模型的新评分系统，该系统用于评估数学和语言技能教学的效果。这个系统算法得出的分数占她总评分的一半，并且重要性超过学校领导和社区的好评。华盛顿特区别无选择只好开除她，以及IMPACT得分在最低限度之下的另外205名教师。

这看起来不像是政治破坏或者分数定论。该学区的这一评估办法确实有点逻辑。毕竟学校领导有可能是糟糕教师的朋友。他们可能喜欢他们的个性或是表面上的尽心尽力。糟糕教师看起来“挺好”。所以，像许多其他学校系统一样，华盛顿特区愿意减少人为偏差，更加注重分数，因为分数是根据实实在在的结果即数学和阅读成绩得出的。华盛顿特区官员承诺，分数可以清楚说明问题。分数更能体现公平。

韦索基当然觉得这些数字极其不公平，她想知道这些分数怎么得来的。她后来告诉我说：“我认为没有人能理解这些分数。”一个优秀的教师怎么会得到如此低的分数呢？增值模型评估的到底是什么？

她熟知，评估模型很复杂。华盛顿特区聘用麦斯迈提卡政策研究机构（Mathematica Policy Research），该机构提出这套评估体系。该机构遇到的难题是测量特区学生的进步，然后计算学生的进步或退步多少能够归因于他们的老师。这当然不容易。研究人员知道，许多变量包括学生的社会经济背景、学习障碍影响等，都能影响学生学习成绩。评估算法必须要考虑到这些差异，这就是复杂的一个原因。

企图减少人类行为、表现以及在算法方面的潜力确实不是一件容易的事情。如果你想要理解麦斯迈提卡政策研究机构处理的是什么问题，你想象一个住在华盛顿特区东南部贫民区里的10岁小女孩。一学期以后，她要参加五年级标准化测试。然后她的生活继续。她可能有家庭矛盾或是家庭经济困难。也许她正在搬家或是在担心触犯了法律的哥哥。也许她不满意自己的体重或是在学校被欺辱。无论她的生活经历了什么，下一学年她要参加六年级学生的标准化测试。

如果你比较这两次测试的结果，分数应该会持平，或者希望是提高了。但是如果分数下降，很容易计算她和那些优秀学生之间的分数差距。

但是，老师该为这一差距负多大责任呢？这很难知道，而且麦斯迈提卡政策研究机构的教学评估模型只有少许数字可以比较。相反，像谷歌这样的大数据公司，研究人员不断测试，监测成千上万个变量。他们可以把任一广告的字体从蓝色改为红色，每版都投放给一千万观众，然后追踪哪一版本获得的点击率更高。他们根据受众的反馈微调算法和操作。虽然我对谷歌公司有许多意见，接下来我们将会在本书中探讨，但谷歌的这种不断测试是对数据的有效利用。

想要计算一个人在一个学年内对另一个人的影响更加复杂。韦索基表示：“学习和教学中有太多的因素，很难一一评估。”而且，试图通过分析二三十个学生的考试成绩去评估一名教师的教学水平，从统计学上来说是不可靠的，甚至很可笑。一切皆会出错，数字太渺小。如果我们要用搜索引擎的严格数据分析教师的话，必须随机挑选几千个甚至数百万个学生参加考试。统计师需要大量的数据平衡例外和反常情况。（我们将会看到，数学毁灭武器惩罚的个体往往是多数人中的例外。）

同样重要的是，数据系统需要反馈，保证系统出差错时能意识到。统计师不断试错训练模型，使之更加智能。若亚马逊的推荐模型相关性出错，给十几岁女孩推荐草坪修剪的工具书，网站的点击量必定骤降，亚马逊公司就会不断调整模型，直到用户相关性推荐正常为止。但是，如果没有错误反馈，大数据模型就会持续输出错误结果，无法改进。

我将要在本书中探讨的许多数学毁灭武器都是这样运作的，包括华盛顿学区的增值模型。许多数学毁灭武器定义自己的功能然后证明其输出结果的合理性。这种模型自我巩固，极具破坏力，生活中很常见。

麦斯迈提卡政策研究机构的评分系统给予韦索基和其他205名教师差评之后，华盛顿特区开除了这些教师。但是该评分系统如何知道自己是否正确呢？无从知道。评分系统确定这些教师是失败者，那么别人就会认为他们是失败者。206名“差”教师走了。这一事实仅仅能表明该增值模型的效果。该模型正在清理华盛顿特区不合格的教师。

这是数学毁灭武器反馈回路的一个例子。我们将会在本书中看到许多这样的例子。比如说，雇主逐渐开始使用信用评分系统来评估求职者。雇主的想法是，及时支付账单的人更可能准时到岗和遵守规则。但其实，信用评分低的人中也有很多有责任感的人和优秀的雇员。但是，雇主认为信用低和工作表现差正相关，导致信用评分低的人很难找到工作。失业导致他们贫穷，而这又进一步降低了他们的得分，因此他们找工作难上加难。这是一个恶性循环。而雇主永远也不会知道，他们因为只关注信用评分而错过了多少优秀的雇员。在数学毁灭武器中存在许多有害的假设，这些模型包裹着数学的外衣，流行于市场，未经检测，人们对此却毫无争议。

这突出了数学毁灭武器的另一个常见特征，即往往惩罚穷人。部分原因是数学模型是用来评估数量多的人群。数学毁灭武器擅长巨量，成本低，这也是它们的吸引力所在。相反，富人通常受益于个人投入。高档律所或者专享预科学校会比快餐连锁店或者资金短缺的城市学区更依赖推荐和当面交流。我们以后会经常看到，特权阶 级更多与人打交道，而群众则由机器操控。

没有人能给韦索基解释为什么她得了这么低的分数，这已经可以说明问题了。算法就像上帝，数学毁灭武器的裁决就是他的指令。数学毁灭武器像是一个黑盒子，里面的东西是严格保护的公司机密，Mathematica这样的顾问因此可以收取更多的费用，但它也有另一个目的：如果被评估的人被蒙在鼓里，他们将不太可能找到系统的漏洞。他们反而只是会努力工作，遵守规则，祈祷模型记录和感激他们的努力。但是，如果人们不能了解模型具体运作方式，就很难对分数提出质疑或者抗议。

多年来，华盛顿教师抱怨他们得到系统武断的评分，强烈要求知道分数的由来。他们被告知这是算法的结果，很难解释。很多教师因此望而却步不再追究。不幸的是，很多教师被数学吓到了。但有一个叫作莎拉·拜克丝（Sarah Bax）的数学老师不停地向学区领导、以前的同事詹森·卡姆拉斯问个究竟。反复几个月之后，卡姆拉斯让她等一份即将发表的技术报告。拜克丝说：“如果一种标准你自己都无法解释，你怎么能保证用它评估人的正当性呢？”但是这就是数学毁灭武器的本质。分析外包给程序员和统计师。通常来说，机器说了算。

即便如此，萨拉·韦索基深知她的学生标准化测试分数主要是根据公式计算的。她对此有一些疑问。她在麦克法兰中学任教最后一年开学之前，她看到五年级新生在四年级期末考试中取得惊人的好成绩。巴纳德小学29%的学生位列“高级阅读水平”，这一数字是该学区平均数的5倍。萨拉的很多学生都来自这个小学。

但是，开学后，她发现很多学生连简单的句子都读不好。很久之后，《华盛顿邮报》和《今日美国》调查揭示，该学区41所学校标准化测试有大量涂擦痕迹，包括巴纳德小学。大范围纠正答案表明作弊的可能性很大。有些学校多达70%的考场被怀疑。

这和数学毁灭武器有什么关系？有多方面关系。第一，教师评估算法是一种改善教学的强大工具，这是算法的目的，华盛顿学校都施行“胡萝卜加大棒”政策。教师知道如果他们的学生考试不好，他们也会面临失业风险。教师因此想方设法确保学生通过考试，尤其是在大萧条期间劳动力市场需求疲软的时候。与此同时，如果他们的学生表现好于其他学校学生的话，教师和校领导可以得到高达8000美元的奖金。如果你认为这些强有力的激励政策可以证明试卷被大量涂改和反常高分，就有理由怀疑四年级教师出于害怕或是贪婪修改过学生的试卷。

那么可想而知，萨拉·韦索基班级的五年级新生入学高分是造假的。如果是这样的话，来年的成绩就会对他们不利，他们的老师也会成为表现不佳者。而韦索基认为这正是她现在的遭遇。这种解释与家长、同事和校领导的观察相符，即她确实是一个好教师，也可以澄清事实。

但是，你不能状告一个数学毁灭武器。这也是数学毁灭武器可怕破坏力的原因之一。模型不会倾听，也不会屈服，对吸引力、威胁和哄骗以及逻辑通通充耳不闻，即使有充足的理由怀疑得出结论的数据。没错，如果自动化系统明显出错或者系统整体出错，程序师会修改算法。但多半情况下，程序的裁决不容置疑，而操作程序的人只能耸耸肩，好像在说，“嘿，你能怎么样？”

这正是萨拉·韦索基最终得到的学校回复。詹森·卡姆拉斯后来对《华盛顿邮报》表示，涂擦是“暗示性的”，五年级学生的考分也许是错误的。但是这不是结论性的证据。他说对韦索基老师的处理是公正的。

你看出矛盾了吗？一个算法处理大量数据，提出一种可能性即某人可能是糟糕的HR、有风险的借款人、恐怖主义者或者是糟糕的老师。这种可能性换算出的分数能摧毁一个人的生活。但是当有人反击的时候，作为抗衡证据的“暗示性”涂擦又起不到作用了。以后我们将不断发现，数学毁灭武器的受害人所需要的证据标准要比算法自身还高。

萨拉·韦索基没几天就从被解雇的冲击中走了出来。很多人包括校长都担保她是个好老师，她很快在北弗吉利亚富人区的一个学校入了职。所以，由于一个特别可疑的模型，穷学校失去了一个好老师，而不会根据学生考试成绩开除教师的富学校得到了一个好老师。

房产危机发生之后，我意识到数学毁灭武器已经扩散到银行业并对经济造成危害。2011年初，我从对冲基金离职。后来我在一家电子商务创业公司担任数据分析师。因为这个职业关系，我发现大量数学毁灭武器已经波及到我们能想到的任何一个行业，加剧社会不公平，压榨弱势群体。这些数学毁灭武器是如火如荼数据经济的核心。

为了传播数学毁灭武器这个名词，我注册了一个博客，叫数学宝贝。我的目的是动员同行数学家反对使用草率的数据和带有偏见的模型，这样的模型会导致恶性循环。我的博客尤其吸引数据专家，他们提醒我要将数学毁灭武器传播到新的领域。但是2011年中期，“占领华尔街”事件在下曼哈顿地区突然涌现，我意识到我们该为更广大的民众做点事情。上万民众聚集，要求经济正义和经济问责。但是当我听到对占领者的采访时，我发现他们似乎对经济方面的基本问题一无所知。他们明显没有读过我的博客。（这里我要多说一句，了解一个系统的失败，并不是要求你对这个系统了如指掌。）

我意识到，我要么批评他们要么加入他们，所以我选择加入他们。不久，我推动哥伦比亚大学交替银行集团每周开例会，我们在会上讨论经济改革。在这个过程中我意识到，不当大学老师之后的两次职业冒险，一次是在经济领域，另一次是在数据科学，给了我绝好的便利接触推动数学毁灭武器的科技和文化。

如今，不严谨的数学模型掌控着广告业、监狱等领域的经济。这些数学毁灭武器和迫使萨拉·韦索基结束华盛顿公立学校职业生涯的增值模型有很多相同特点：不透明，不被质疑，解释不通，这些模型按一定规模分类，定位或者“最大化利用”数百万人。大多数数学毁灭武器把运算结果和实际情况混淆，导致恶性循环。

但是学区增值模型和寻找高额发薪日贷款潜在客户的数学毁灭武器之间有一个重要的区别。这二者有不同的结果。学区得到的是一种政治货币，即教师评估得以完成；企业得到的是本位货币：钞票。对于许多运用数学毁灭武器的公司来说，热钱涌入似乎证明模型奏效了。站在公司的角度，这是有意义的。当公司构建模型寻找客户或者操控绝望的借款人时，越来越多的盈利表明他们走对路了。问题是利润最后成了真理的象征。认为赚钱就是真理，这样危险的混淆我们以后还会多次看到。

这是因为数据学家经常忽视交易接收端的民众。他们当然明白数学毁灭武器必然会误解民众一段时间，把人群归错类，剥夺他们找到工作或者买房的机会。但是一般来说，数学模型操作者不会思考那些错误。他们的反馈是金钱，这也是他们的动机。他们设计的模型就是要吸收更多的数据，微调分析，让更多的热钱涌入。投资者当然尽享收益，继续将更多的钱投入到数学模型公司。

那么受害者呢？内行数据学家也许会说，没有数学模型是完美的。那些民众是附带受损。像萨拉·韦索基这样的人常常会被认为没有价值，不值得惋惜。他们也许会说，暂时忘记这些人，主要看那些从推荐引擎上获得有益建议的人群，或是在潘多拉上找到自己热爱的音乐的人，或者那些在领英上找到理想工作的人，还有在婚恋交友网站Match.com上找到爱情的人。想想这令人惊讶的方面，忽略那些不完美。

大数据有很多福音传播者，但我不在其中。本书将透视数学毁灭武器导致的危害和不公正。我们将探讨影响人们人生关键时期（如上大学，借钱，入狱，或者是找工作和保住工作）的有害例证。人类生活各个方面越来越多地被数学毁灭武器控制。

欢迎进入大数据的阴暗面。

主书名：算法霸权

副书名：数学杀伤性武器的威胁与不公

作者：凯西•奥尼尔（Cathy O'Neil）

译者：马青玲

作者简介

凯西•奥尼尔（Cathy O'Neil）

数据科学家，mathbabe.org的博主。博士毕业于哈佛大学，主修数学专业。她曾在巴纳德学院任教，之后为私营企业服务，例如避险基金。她还在各类新型公司担任数据科学家，预测消费者购买与点击趋势。每周她都会出现在“财富记账”的播客上。

内容简介

数据科学家凯西•奥尼尔认为，我们应该警惕不断渗透和深入我们生活的数学模型——它们的存在，很有可能威胁到我们的社会结构。

我们生活在一个依赖“算法”的时代，它对我们生活的影响越来越大，我们去哪里上学，我是不是应该贷款买车，我们应该花多少钱来买健康保险，这些都不是由人来决定的，而是由大数据模型来决定的。从理论上来说，这一模型应该让社会更加公平，每一个人的衡量标准都是一样的，偏见是不存在的。