不顾新产品带来风险更关注利润，FB谷歌Zoom都是“坏家伙”？

编者按：本文来自腾讯科技，审校：金鹿 ，36氪经授权发布。

1.科技公司经常会在没有完全预料到滥用可能性的情况下推出新产品或服务，然后为此道歉并发誓“要做得更好”，如今这似乎已经成为惯例。

2.Facebook在2003年创建之初，扎克伯格就对其哈佛同学使用过类似道歉策略，在应对后来的危及时更是屡见不鲜。

3.Twitter上也充斥着暴力、骚扰和假新闻，并被指曾帮助特朗普赢得总统大选，该公司也采取道歉策略。

4.互联网上的危害状况及其与风险的直接关系是结构性的，这在某种程度上可能是该行业由白人和男性占主导地位的直接结果。

5.在决策制定过程中，人们的注意力多集中在利润上，而不是人类福利和人道主义方面，这可能会导致某些政策会在不经意间造成伤害。

6.随着新理论和新方法的出现，风险评估正在演变以更好地应对危机。这一转变在很大程度上是由在最大的科技公司以外工作的学者和风险专家推动的。

2014年春季的某日，苏珊·贝内什(Susan Benesch)来到位于门洛帕克(Menlo Park)的Facebook总部，被领进一间有玻璃墙的会议室。她从华盛顿特区赶来与Facebook内部所谓的“同情研究团队”（Compassion Research Team）会面，该团队包括员工、学者和研究人员，他们的工作是开发工具，帮助用户直接解决冲突，减少Facebook的干预需求。

贝内什是一名人权律师、哈佛大学助教，同时也是非营利组织“危险演讲项目”(Dangge Speech Project)的创始人，该项目旨在研究网络言论与现实世界暴力之间的联系。贝内什与同情研究团队密切合作，并利用这次会议提出了她所关注的一个严肃问题，即通过Facebook进行协调的人权暴力问题。

为了解决这个问题，Facebook开始直接与人权活动家合作，标记危险内容。该公也司做出了一些改变，比如将Facebook的社区标准翻译成多国语言，并建立了一个快速提供报告的渠道。但贝内什和人权活动人士表示，这些变化力度相对较小，对阻止暴力浪潮几乎没有什么作用。

现在，社交媒体处理这些司空见惯的问题已经成为例行公事：Facebook、Snapchat或Zoom等科技公司在没有完全预料到滥用可能性的情况下推出了一项新产品或服务。然后是道歉，并发誓“要做得更好”。这是一个持续数十年的洗涤-漂洗的重复循环。

2003年，Facebook创始人马克·扎克伯格(Mark Zuckerberg)在未经同意的情况下，收集了许多哈佛同学的照片，并将它们放到Facemash.com上。Facemash.com是Facebook的前身，该网站邀请学生们对同学进行“热门与否”排名。之后，扎克伯格对许多哈佛同学说：“我希望你们能理解，这不是我的本意，对于疏于考虑这个网站的传播速度而造成的任何伤害，我深表歉意。”

Twitter联合创始人伊夫·威廉姆斯（Ev Williams）曾在2008年10月至2010年10月期间担任该公司首席执行官，他在2017年接受采访时表示：“我认为，当每个人都能自由发言、交流信息和思想的时候，世界就会自然而然地变得更美好。然而我错了。”许多媒体报道了Twitter上存在的暴力、骚扰和假新闻，并暗示该平台可能帮助唐纳德·特朗普（Donald Trump）赢得了总统大选。

2020年4月，在新冠疫情爆发最严重的时候，当”互联网巨魔“用骚扰内容攻击视频通话时，视频会议应用开发商Zoom首席执行官袁征也为“我们没有预料到的挑战”道歉。

未能正确计算风险是过去十年大多数备受瞩目的科技灾难爆发的核心。批评人士说，这个问题是该行业普遍存在的问题。微软首席研究员、康奈尔大学兼职副教授塔尔顿·吉莱斯皮(Tarleton Gillesbie)表示：“任何类别的有害内容都不属于例外，而是在平台上普遍存在。”

互联网上的“危害状况”及其与风险的直接关系是结构性的。科技行业，从风险资本家到工程师再到创造性的远见卓识者，以其富有活力的狂野西部个人主义精神、傲慢的冒险行为和持久的同质化而闻名。这在某种程度上可能是该行业由白人和男性占主导地位的直接结果。

二十多年来，研究发现，在美国有一群特定的男性，主要是白人，地位较高，对个人效能有强烈的信念，他们倾向于以更快的速度接受新技术，同时将潜在威胁降至最低，研究人员将这种现象称为“白人-男性效应”，这是一种保护地位的认知形式。用一项研究的措辞来形容，这些发现揭示了“在协调风险的理性监管和民主决策方面面临的一系列新的实践和道德挑战”。

风险评估也经常被忽视，因为公司更倾向于获取利润。Decision Research的联合创始人、风险评估领域的先驱保罗·斯洛维奇(Paul Slovic)称：“在决策制定过程中，人们的注意力变得集中在利润上，而不是人类福利和人道主义社会问题上。这可能会导致某些政策会在不经意间造成伤害。”

“快速行动，打破陈规”有后遗症？

根据对30多名科技行业专家、内部人士和研究人员的采访，这些公司以及包括谷歌、YouTube、Lime和Zoom在内的更多公司，多数时候未能充分评估其产品带来的风险。尤其是Facebook，该公司继续成为头条新闻，最近是关于国家行为者涉嫌出于政治目的滥用该平台。今年夏天发生的一起大规模高调黑客攻击事件，突显出Twitter也在努力应对风险。历史上以降低风险为使命的安全功能开发仍然是孤立的狭隘技术，对大约50年内的决策科学研究一无所知或不屑一顾。

相反，许多科技公司仍然会造成伤害，并在事后道歉。多位消息人士将这一动态归因于“快速行动，打破陈规”（move fast and break things）的后遗症。曾在2014年至2018年担任雅虎和Facebook高级安全主管的亚历克斯·斯塔莫斯(Alex Stamos)说：“当你在这些公司工作时，你会不断地遇到紧急情况。我想不出有什么办法可以让我坐下来，积极主动地做些事情。”

每天关于安全漏洞、监控风险、武器化数据、选民操纵、虚假信息、算法偏差、阴谋论、仇恨和骚扰的故事层出不穷，证明可能的失败数量似乎无穷无尽，而且种类繁多。已经融入我们日常生活的物联网充满了更多的安全风险：从匆忙设计和发布的、与投票相关的应用程序，到对危险的电子烟、自动驾驶汽车、智能手机爆炸的担忧，以及理应是革命性的血液测试，但公司经常发布未经测试、未经验证、不受监管的产品，有时还会发布欺诈性产品。

识别风险不仅仅是个技术问题。简而言之，风险评估是指个人或机构为决定什么是可接受的风险而采取的任何行动。重要的是谁在房间里识别可接受的风险，并采取行动应对。这具有政治意义，且风险超高。而且，据该领域的专业人士称，这种说法被严重误解了。

“风险”和“威胁”这类术语经常被混为一谈。风险评估专业人士斯洛维奇说：“风险这个词的措辞是模糊而令人困惑的。我们用‘风险’这个词来表达不同的意思，通常是从一句话到另一句话，而我们并没有意识到这一点。”威胁通常被理解为已知的可能性，可以是自然的龙卷风、无意中的编码器错误或故意的恐怖袭击。从历史上看，威胁一直是安全团队的核心。

另一方面，风险可以理解为发生坏事并影响整个组织的可能性。Altitude Networks联合创始人兼首席执行官、Twitter前首席信息安全官、Mozilla前安全主管迈克尔·科茨(Michael Coates)说：“风险管理着眼于组织面临的所有风险的宏观层面。”

随着2020年总统大选的临近，科技行业出现问题的风险是有形的、迫在眉睫的。9月中旬，Facebook数据科学家索菲·张(Sophie Zhang)撰写的一份内部文件被泄露给媒体。她在一份离职备忘录中写道：“我发现外国政府多次公然企图大规模滥用我们的平台，误导本国公民。”她还将Facebook描述为优先考虑商业利益而不是“现实世界问题”的公司。

虽然索菲本人并不是Facebook“公民诚信”团队的一员，但她的工作经常暴露出公民诚信风险，但却被降级为在“业余时间”进行的宠儿项目的地位。她写道，相对于垃圾邮件，“由于体量小，公民诚信风险被忽视了，它不成比例的影响被忽略了。”她谨慎地指出，并无故意的恶意。相反，她说，“草率和偶然的事故”比比皆是。考虑到这种高风险，她的观察令人担忧，但并不令人感到惊讶。

调查人员采访了大量学者、活动人士以及谷歌、微软、Twitter、Uber和YouTube等大型科技公司的现任和前任员工，以了解他们的公司是如何应对风险的。他们在Facebook总部逗留了一段时间，并与该公司的高层管理人员进行了广泛的面对面讨论，并通过电子邮件进行了讨论。

Facebook披露了有关该公司如何应对风险的重大细节，但该公司愿意回答问题并不是常态。正如YouTube的一位发言人所说，除了说他们正在“持续监测新的威胁”之外，很少有公司描述了识别和评估风险的具体或正式的过程。Twitter和谷歌等公司在其网站上提供了降低风险的概括性承诺声明或公共通信链接。调查人员还联系了最近遇到高调问题的其他公司，包括Zoom和Snapchat。这些公司的发言人提供了公开可用的政策文件和博客帖子。

在采访中，行业高管、技术专家和安全专家们说：“你不可能知道不该知道的东西。”在伤害发生之前，他们对旨在识别可接受风险的决策过程几乎没有闭口不谈。 虽然不是所有的风险都是已知的，新技术造成的风险往往是史无前例的，但风险和决策的科学是由半个世纪的研究支持的。核电、银行、环境、食品、汽车、航空航天和医疗行业都有正式的流程，用于在发布新产品或服务之前评估潜在风险。硅谷最杰出的公司应该获得通行证吗？

加州大学洛杉矶分校“关键互联网调查中心”联合创始人、《压迫的算法》(Algorithms Of Compression)一书作者萨菲亚·诺布尔(Safiya Noble)表示：“例如，我们绝不会允许一家制药公司在公众身上进行试验，然后在看到结果后撤回或更换产品。”那么，如果它们的创造者融合了最好的风险科学，有害的科技产品会是什么样子呢？

评估风险需直面并克服偏见

那是2019年12月份一个阴沉的下午，也就是风险分析协会2019年年会的第二天，调查人员在弗吉尼亚州阿灵顿首次见到了保罗·斯洛维奇(Paul Slovic)。这位82岁的秃头男子穿着工装裤、跑鞋和一件破旧的羊毛色块毛衣，他正在草草记下关于风险沟通演示的笔记，包括“不完整”、“复杂”、“多学科”等字眼儿。

斯洛维奇后来表示，“快速、直观的思维无法扩展”，尤其是涉及到社会价值和人道主义问题时。技术领导者应该更谦虚一些，“因为他们有能力预见到一个强大的系统可能会出现的所有问题。在这个系统中，我们没有决策的经验基础”。他说，第一步是“意识到我们的头脑在欺骗我们，这样我们就可以警惕为什么可以保护我们的系统也会欺骗我们”。

斯洛维奇花了几十年的时间研究风险和决策过程，以及遇到前所未有的速度、规模和伤害的组织会发生什么。他说：“人们必须非常努力地思考，才能想象出令人不快的、前所未见的后果。”1957年，斯洛维奇还是个十几岁的篮球运动员，他已经进入斯坦福大学，计划主修数学。不久之后，他得出结论，他对塑造人类行为的强大力量（如好奇心、恐惧、野心、地位、注意力和贪婪）更感兴趣，并将专业转向心理学。

在密歇根大学研究生院时，斯洛维奇主要研究风险和决策的心理学。最终，他和他的合作者确定了他所说的“社会赌博”（即我们每天面临的风险）的核心机制。他的研究以经验、身份和情感为基础，研究了形成决策的认知启发法和偏见，形成了一个工作准则。斯洛维奇的理论和方法已被应用于公共政策、能源、医药、人权、法律、航空航天、军事、经济和环境等各个领域。

斯洛维奇说，风险评估具有挑战性，因为它迫使我们直面并克服自己的偏见。决策还伴随着这样一个事实，即如果我们不想看到某些东西，我们很可能就不会去想它们。如果出现有问题或令人不快的结果，你可能不会非常努力地预测和解决它们。

20世纪70年代，斯洛维奇应邀在核工程师和能源行业高管会议上展示他的工作。他说：“就像今天的技术一样，核电是一项由工程科学和高深的技术知识推动的技术。”工程师们认为自己是房间里最聪明的人，就像今天的技术工程师和首席执行官一样。他们对斯洛维奇描述的关于风险的心理学观点几乎不理解，也不感兴趣。

斯洛维奇和两位合著者在20世纪70年代末写道，当时核工业“正在不利舆论的滩涂上沉没”。他告诉他的核工程师和科学家听众，专家和非专业判断之间存在着严重的差异，他们最好能理解这些差异。斯洛维奇警告说，反对核能的声音在全国范围内如雨后春笋般涌现，核科学家不应将公众对风险的担忧视为无知和不理性而选择忽略。

然而，工程师们却认为斯洛维奇是个麻烦制造者，在“硬科学”和技术专长面前，专注于主观上的不可量化因素，包括不确定性、价值观、政治、信任问题。出席会议的工程师不能将他们自己的同质性、社会地位、商业动机、感情以及对“非专家”的鄙视视为风险因素。斯洛维奇在描述他的遭遇和数十年的研究时说：“整个过程是主观的和充满价值的，定义风险是一种权力的行使。”

然后，核工业敲响了警钟。1979年3月28日凌晨4点左右，宾夕法尼亚州三里岛核电站的2号机组反应堆发生故障，导致部分熔毁。一份调查报告发现，该工厂的设计存在缺陷，其员工没有接受过应对紧急情况的培训。不久之后，美国核管理委员会为斯洛维奇与同事、决策研究公司联合创始人巴鲁克·菲施霍夫(Baruch Fischhoff)和萨拉·利希滕斯坦(Sarah Lichstein)提供资金，以编制一份“可接受风险”指南。

他们在1980年发表的结果报告中写道：“可接受的风险问题是决策问题，他们需要在两种选择之间做出选择。这一选择取决于所考虑的替代方案、价值观和信仰。”

风险分析最初是作为工程师和政治家的“客观”工具，他们需要更多的事实来理解和控制新技术带来的风险，特别是在航空航天和核工业中。在20世纪70年代和80年代，私营部门、行业协会、学术界、研究中心和联邦政策层面的社区围绕这一主题联合起来，工程师、研究人员和监管机构构建特定于行业的流程和控制。

今天，一大批公司为你能想象到的几乎任何集体、部门或公司提供信息安全和风险管理服务，惠普、雀巢、国家气象局和密歇根州都提供了风险管理服务。据估计，这个行业每年产生的收入超过1300亿美元。

现在，批评人士说，科技行业现有的应对风险的方法已经过时了。这种方法植根于狭义的做法，归入法律和信息安全部门，专注于版权等可量化和离散的东西。信息安全传统上专注于阻止已知对手对系统的“攻击”，这让公司很容易被滥用。批评人士说，2020年，科技行业的风险评估实践还必须考虑到对社会价值的保护，比如获取准确信息。

斯洛维奇和他的同事们认为，征求公众的意见对于克服内部偏见和盲点以及避免未来的问题至关重要。正如他们在1980年所说的那样：“早期的公众参与可能会导致需要更长时间才能做出的决定，但这更有可能让决策长期坚持下去。”

评估部分核熔毁的风险和评估社交媒体平台被用来侵入选举的风险可能看起来截然不同，但它们之间也有共同点。这两个行业都声称要改变世界，它们都有早期的批评者和公民社会倡导者警告潜在的危害。两个行业都是由白人、有权势的人主导的，他们倾向于将批评者斥为主观的、情绪化的、无理的和消息灵通的人。

与此同时，两个行业都匆忙将自己的产品推向市场，将技术和商业目标置于社会和人道主义考虑之上。今天的科技领袖仍然倾向于优先考虑技术修复，比如更好的算法、更快的处理器、改进的功能，而不是努力改善决策结构和公众参与的途径，以改善结果。

科技行业面临三里岛时刻？

科技公司现在正处于自己的三里岛核危机时刻吗？有迹象表明，随着新理论和新方法的出现，风险评估实践正在演变，以更好地应对危机。这一转变在很大程度上是由在最大的科技公司以外工作的学者和风险专家推动的。他们的想法和工作代表迅速发展的努力，以解决超越传统的、技术解决方案和拥抱人类和社会价值的风险。

Twitter和Mozilla的前安全主管迈克尔·科茨(Michael Coates)表示，这些对话开始产生影响。他称，公民问题“在这个行业讨论了很多年，但人们会说‘好吧，你有点偏执了’，并对此不屑一顾”。或者干脆认为“这些事情根本不会发生”。这种做法在处理安全问题的行业专家中很常见。

今天的科技公司没有这样的自满。那些安全专家认为我们永远不会看到的问题？科茨说。现在很多人都已经看到了！缅甸的暴力事件，以及Facebook显然在其中扮演的火上浇油的角色，对该公司来说是一场史无前例的灾难。据报道，该公司多年来因被指控扩大种族暴力而受到警告。批评人士说，由于该国规划、翻译服务和内容审查不足，这些问题通常会加剧。

一位曾在缅甸政策和安全问题上与Facebook合作并了解这些问题发展过程的消息人士透露，将缅甸语添加到Facebook的决定是在缅甸2010年选举后放开电信系统期间由工程师匆忙发起的。这位人士说，像这样的项目是一件“让人感觉很好的事情，听起来很可能是积极的，毕竟支持尽可能多的语言没什么坏处。然而事实证明，在这种情况下，这是一件非常负面的事情“。

Facebook不仅在监控缅甸言论方面的能力有限，而且因为在缅甸人们主要使用Zawgyi，而不是Unicode，该国的用户不能轻松地使用缅甸文字输入评论或帖子，让公民和活动人士只能依靠视频、照片和图像进行交流。此外，贝内什表示，当她在2014年与Facebook会面时，该公司依赖于都柏林的一家翻译公司来满足缅语需求。

知名活动家一度通过贝内什与Facebook合作开发了一种贴纸包，类似于今天的表情符号，以阻止在线仇恨言论。贝内什说：“一方面，这只是一件表面上的小事。显然，我们不打算用贴纸包装来预防种族灭绝，但这件小事似乎总比什么都没有强。”直到2019年10月，Facebook才将Unicode字体转换器集成到Facebook和Messenger中。该公司表示：“这些工具将对缅甸数百万使用我们的应用程序与朋友和家人交流的人产生重大影响。”

Facebook的一位发言人承认该公司存在不足，但强调了情况的特殊性，以及该公司自那以来采取的措施。他们说，缅甸是世界上唯一一个拥有大量在线业务但尚未完全采用Unicode并对其进行标准化的国家。现在有100多名母语为缅甸语的人在Facebook上评论内容，该公司也有能力用当地少数民族语言评论内容。该公司使用自动化系统识别包括缅甸语在内的45种语言的仇恨言论。

Facebook发言人表示：“就像我们之前说过的，我们当时对我们平台上的滥用行为采取行动太慢了，很大程度上是因为围绕报告流、双重字体问题和语言能力的挑战。我们知道缅甸仍然存在挑战，但今天我们比2013年更有能力应对这些挑战。”

类似的语言问题将继续成为Facebook和其他平台面临的挑战，因为它们将继续在全球范围内扩张。Facebook的人工智能总监奈西普·法齐尔·阿扬(Necip Fazil Ayan)在2018年称：“规模效应是我们必须牢记的。”他指出，Facebook在那一年使用了70种语言，每天提供60亿份翻译服务，我们的目标是不断提高质量，并不断增加语言”。

截至2019年，Facebook官方支持111种语言，而内容审核团队则继续致力于应对识别另外数百种语言的需求。Facebook负责全球政策和管理的副总裁莫妮卡·比克特(Monika Bickert)在2019年表示：“翻译所有这些不同的语言是非常艰巨的挑战。”Facebook拒绝提供该公司如何决定加入和支持新语言的具体细节，但其发言人表示，公司会考虑“来自各种来源的见解，包括政策意见或潜在危害增加的地区”。

如果没有足够的语言资源，推出可能会影响一个社区、地区甚至整个国家的产品，特别是在历史和政治背景不熟悉的地方，可能是相当危险的。批评人士认为，问题不仅仅是语言障碍，解决方案也不仅仅是更好的翻译和机器学习。相反，他们说，该公司在决定向世界上某些他们不完全了解政治和文化动态的地区扩张时，应该采取更慎重和理性的方式。

一位Facebook前高管称：“添加一系列语言是个独立的过程，不同于‘我们要搬到一个国家，我们会具体考虑这个国家的人口结构’。这些进程之间的脱节是有问题的。”

Facebook Live个例解析

进入缅甸的举动也反映了Facebook其他仓促的产品开发行动。Facebook Live被用来记录和传播自杀、强奸、危害儿童、谋杀和仇恨犯罪等，据称也是匆忙间推向市场的。扎克伯格在2016年4月兴高采烈地推出了这项服务。他在Facebook的帖子中写道，这项新功能将“就像口袋里装了电视摄像机”。

当时，该公司已经积累了近20亿月活跃用户，正在管理全天候的投诉和问题，包括2015年的早期警告，即剑桥分析公司（Cambridge Analytica）利用从数千万Facebook用户挖掘的数据，形成潜在选民的心理档案，帮助特德·克鲁兹（Ted Cruz）的总统竞选。

现在还不清楚Facebook Live在发布前进行了多少风险评估。据报道，时任该公司首席安全官的斯塔莫斯(Stamos)在该产品被推出之前“几个月”才被告知这款产品的存在，以回应尤其是来自Snapchat越来越大的竞争压力。据悉，除了在产品即将发布之前将其首席安全官蒙在鼓里之外，政策、信任和安全团队也同样被排除在圈子之外，直到相对较晚的阶段才给予通报。据一位熟悉情况的消息人士称，多个团队建议推迟产品发布，但未被采纳。

Facebook的一位发言人否认了产品推出过于仓促的说法，他说：“当我们研发产品时，我们总是考虑产品在世界上的用途(产品的愿景)和通过产品可能产生的负面影响。在推出Facebook Live的过程中，我们就是这样做的。”

但在Facebook Live推出后的几天里，一位顾问形容Facebook总部的场景看起来就像“狗屎秀”。据两位知情人士透露，Facebook Live团队夜以继日地工作，删除了自杀、强奸和其他暴力行为的视频。到了2017年，Facebook每天都在努力控制损失，因为现场直播的暴力故事充斥在新闻之中。

相对于其他公司来说，Facebook一直愿意公开谈论运营是如何演变的，以回应人们对其产品给个人和社会带来的风险的认识和理解。在2018年采访时，当时的Facebook产品管理副总裁盖伊·罗森(Guy Rosen)承认了与Facebook Live发布相关的问题。他说，在“一系列糟糕的事情”之后，“我们意识到我们必须更快地”解决这项服务的问题。该公司将不同团队的成员聚集在一起，他们放弃了其他优先事项，花了两到三个月的时间进行封锁，只专注于解决新服务的问题。

斯塔莫斯表示，对于确定和优先处理Facebook Live团队当时面临的问题的最佳方式，存在合理的争论。他画了个简单的X-Y坐标网格，用不同大小的圆圈表示某些风险的威胁程度、发生的可能性及其潜在影响。他和他的团队使用这样的网格来评估某些伤害的可能性，比如儿童性剥削、恐怖主义、仇恨言论和其他滥用Facebook产品的行为，并相应地给出针对性解决方案。斯塔莫斯说：“我们的资源有限，我们如何运用有限的资源呢？”如果安全团队早些时候参与Facebook Live的计划，他的团队也许能够帮助防止发生的问题。

在Facebook Live推出后的两年里，Facebook将重新评估其风险管理方法。2018年5月，时任Facebook项目管理总监、负责新闻业务的格雷格·马拉(Greg Marra)首次公开谈论Facebook转向综合风险管理方法，试图防止伤害，并创建协调一致的跨职能团队。他说：“我们需要做很多事情来进行内部协调，比如Facebook、Instagram、Messenger、WhatsApp和Oculus，我们需要一种标准的方法来解决这一问题。”

六个月后，也就是2018年11月，扎克伯格还宣布Facebook计划处理风险的方式发生重大转变。他表示：“得益于人工智能的进步，以及我们现在每年可以提供数十亿美元的投资，大规模内容的被动处理到主动处理直到最近才开始成为可能。在我们历史上的大部分时间里，内容审查过程都是非常被动的。”

整合跨职能团队的工作，从被动转向主动，已经成为该公司的头号关注点。当斯塔莫斯离开时，在涉及俄罗斯可能干预2016年美国大选的棘手情况下，他作为首席安全官的职位没有得到填补。相反，Facebook的一位发言人称，该公司“嵌入了我们产品和工程团队中的安全工程师、分析师、调查人员和其他专家，以便能够更好地解决我们面临的、新出现的安全威胁。”

2018年，盖伊·罗森(Guy Rosen)透露，扎克伯格已经找到他，准备进行大量投资。他记得扎克伯格问过他：“你需要多少钱？这是最重要的，我们必须把这件事做好。”在过去的两年里，Facebook在安全和安保方面的工作人员增加了一倍多，达到大约3.5万人。它已经正式使用跨职能团队来解决孤岛和盲点问题，并将这些团队定位在Integrity之下，在担任诚信副总裁的罗森领导下。此外，2019年7月，Facebook增加了一个新角色，任命人权活动家米兰达·西森斯(Miranda Sissons)为其人权总监。

在多次采访和电子邮件交流中，Facebook高管和发言人描述了跨职能团队的工作方式，这些团队分为两大类：一类是识别和缓解风险的团队，另一类是专注于与特定事件相关的风险处理团队，比如可能会导致在线活动激增的选举或危机。

这两类小组都对风险进行前瞻性和事后调查。然后，他们与政策和诚信工作人员一起工作。据报道，诚信团队由约200名员工组成，由负责产品和社会影响的副总裁内奥米·格莱特(Naomi Gleit)监督。该团队由跨职能小组组成，负责了解Facebook运营地区的政治和文化动态以及条件。这些都是苏菲·张经常合作的团队。

罗森说：“我认为公众的关注帮助激励了工程师们致力于此。这些都是很难解决的问题，人们还没有做到这一点。”虽然内部消息人士描述了这一过程中遇到的困难，包括不同职能领域之间缺乏透明度，以及内部沟通不畅导致工作重复，但Facebook强调了它所取得的成就：由于实施了某些改革而有所改善的产品和功能，这些变化使Facebook能够更加积极主动，比如使用照片技术打击儿童剥削、性虐待和恐怖主义内容的传播；在Messenger Kids中制定安全措施；改进Facebook约会的安全、隐私和身份验证程序；加强与选举相关的安全措施。

尽管如此，2019年3月，28岁的澳大利亚人布伦顿·塔兰特(Brenton Tarant)依然激活了Facebook Live，并用它在17分钟内直播他杀害了50多人的场景。然后，在袭击发生12分钟后，一名用户将这段视频标记出来，执法部门联系Facebook后，该公司花了近一个小时才将其删除。但到那时，这些内容已经被无数人浏览。

加州大学洛杉矶分校(UCLA)关键互联网调查中心的联合创始人萨拉·T·罗伯茨(Sarah T.Roberts)表示：“显而易见的解决方案是放慢用户生成内容的速度。”罗伯茨曾多次提出，科技公司应该建立直播流等功能的访问层，这样用户在使用特定产品之前就会经过审查。然而，到目前为止，公司一直抵制这样的改革。她说：“这个想法从来没有被认真讨论过。”

Facebook的一位发言人说：“安全不会因为关注利润而受到损害。扎克伯格在以前的场合已经清楚地表明了这一点，他指出，我们在安全方面的投资如此之大，以至于会影响我们的盈利能力，但保护我们的社区比最大化我们的利润更重要。”

作为一位专注于技术和人权交集的维权人士和天使投资者，萨布丽娜·赫西·伊萨（Sabrina Hersi Issa），为公司提供建议，建议如何创建、配备员工和为包容性系统提供资金，使其以人的价值和利润为中心。伊萨说：“在考虑风险时，科技公司往往将事物视为产品和平台。当我看到一项技术时，我会问自己，这项技术是如何促进参与民主生活的？这种重组增加了层层复杂的考虑，而大多数技术专家并没有考虑到这一点。”

构建更全面风险管理机制

用最近一份安全报告的话说，在现有基础设施上增加更多的产品和实践已经不够了。那么，一种更全面的风险管理方法会是什么样子呢？收集来自不同部门和不同利益相关者的投入很重要，但仅有这一点是不够的。专家说，负责评估风险的个人也需要有权参与最终决策。

曾在Slake、Twitter、谷歌和苹果担任工程主管、并曾在奥巴马基金会(Obama Foundation)担任首席技术官的莱斯利·麦利(Leslie Miley)说：“即使你有跨职能的团队，提出这些担忧的声音有时也从未被听到或注意到，或者没有被给予同样的重视。因为人们没有那种亲身经历，或者他们认为这没什么大不了的。这是我经常看到的。”

在接受调查的每一家公司中，工程师和产品经理（占压倒性多数的男性群体）掌握着权力。与此同时，法律、政策、信托和安全团队(有时被称为“清理团队”)的领导层往往偏向女性，而且更加多样化，正如萨拉·爱默生(Sarah Emerson)最近所发现的那样。斯塔莫斯在谈到他在Facebook的经历时说：“如果我和信任与安全组织开会，特别是高层会议，我会是房间里唯一的男性。如果参加信息安全方面的会议，到会的人可能都是男性，也可能只有一名女性。”

职业性别隔离问题在科技领域十分普遍。谷歌一位要求匿名的消息人士说：“如果你不和女性一起工作，谷歌会给你很大的压力。虽然我知道谷歌上有20、30、40、50个没有女性的群体。”当被问及对这一描述有何评论时，在一系列对话(包括要求提供有关其风险评估和缓解方法的详细信息)之后，谷歌发言人通过电子邮件回复道：“随着数字威胁的发展，区分传统安全威胁与平台和产品滥用的界限变得越来越模糊。我们的安全和信任与安全团队的专业知识，加上他们多年的合作伙伴关系，使我们能够为我们的用户提供强有力的保护。”

今年夏天发布的一项基于2016年数据的研究发现，硅谷10家主要科技公司的员工中根本没有黑人女性。研究发现，三家大型科技公司在任何职位上都没有黑人员工。在过去的四年里，行业分析师注意到了变化的缓慢步伐。2019年，Facebook 64.9%的技术团队由白人和亚裔员工组成，其中77%为男性。

不难发现这种同质性如何影响风险感知和产品开发的有害示例。2017年，Snapchat发布了一项名为Snap Maps的功能，该功能可以显示用户的地理位置，然后根据设置与其他人分享他们的下落。这激起了倡导者的愤怒，他们认识到这一功能可能对儿童、跟踪目标和亲密伴侣虐待等构成风险。

2018年，共享滑板车初创公司Lime因一项旨在保护其滑板车的安全功能而遭到强烈反对。据报道，当加州奥克兰的人们试图在没有先下载应用程序并付费使用的情况下操作一辆滑板车时，滑板车会发声称“解锁我骑我，否则我就报警了”。当地活动人士和一名政客对执法系统中过度监管和歧视黑人个人的问题非常敏感，并据此提出抗议，认为这危及黑人公民的安全。

2019年，使用人工智能虚拟脱光女性(对男性照片无效)的应用程序DeepNude，在发布大约24小时后撤回了产品，但已经引发了广泛的抗议。开发团队在社交媒体上表示：“人们误用它的概率太高了。”

麦莉说，这些失败中的每个例子都强调了，经历如何决定一个人如何看待风险。斯洛维奇是许多研究人员中的一员，他们长期以来一直在记录只让白人男性进入做出安全和伤害决定的房间的风险。1994年的一项发现写道：“最引人注目的是，白人男性往往在态度和认知上与其他所有人不同。平均而言，他们认为风险比其他人小得多，也更容易接受。”这些结果表明，权力、地位、疏离和信任等社会政治因素是人们感知和接受风险的重要决定因素。

前风投公司Reddit首席执行官、现任Project Include首席执行官的鲍康如(Ellen Pao)表示，为了抵消认知和结构性问题，风险评估需要“完全改变意图”，“科技领域的安全和隐私至少在其存在之日起就一直是男性占主导地位的领域。”和斯洛维奇一样，鲍康如认为，科技行业需要将包容性和跨学科作为核心实践，并给予那些拥有传统上女性化的、与安全和护理相关的“软”技能的人更多的权力、地位和薪酬。

然而，如果没有问责和领导，这样的转变是徒劳的。斯塔莫斯说：“公众对Facebook的批评确实很准确，但在Facebook从事社交媒体安全工作的人可能比世界其他地方的总和还要多。但你会遇到这样的问题，即做出的行政决策完全忽视了这些人，然后就完全毁掉了他们正在做的所有工作。”

当被问及他在科技行业的工作时，斯洛维奇Decision Research联合创始人巴鲁克·菲施霍夫(Baruch Fischhoff)说：“很难区分恶意与无能和无知。我认为，除非首席执行官深度投入，否则风险评估注定会失败。”菲施霍夫曾担任包括FDA、国土安全部和环境保护局在内的一系列联邦监管机构的风险顾问。

Facebook的一位发言人强调，无论公司的风险评估努力多么积极，总会有更多的工作要做。他说：“在一个完美的世界里，我们将拥有完美的信息，并能够根据这些信息采取行动，以预防和减轻风险和伤害。我们一直试图建立健全的风险评估机制，一直在努力预测风险，并在此过程中吸取教训，但我们都是在信息不够完善的情况下运营的。”

然而，识别更多的信息、更好的算法和增强的技术并不能从根本上反映“意图的完全转变”。可以说，这种以技术修复为基础的方法，在现有方法的基础上反而让伤害加倍。事后的数据和信息作为预测性输入，无论多么必要，都是不够的。《价值敏感设计：用道德想象塑造技术》一书的合著者、设计师和技术专家巴特亚·弗里德曼教授（Batya Friedman）说：“想象一下，如果这些公司说：‘我们将坚持推出这一新功能。这些系统的部署速度非常快，而且是规模化的。这些都是非常非常棘手的问题。”

此外，批评人士说，主要的社交媒体公司一直与外部研究人员保持距离，抵制更多了解有害内容以及如何防止有害内容的努力。例如，2018年，Twitter发起了一项旨在促进文明和改善平台行为的研究，并与苏珊·贝内什(Susan Benesch)和康奈尔大学的内森·马蒂亚斯(J.Nathan Matias)合作，后者是公民与技术实验室创始人。不过，该公司最终以编码错误为由放弃了该项目。去年夏天开始的一项后续研究只运行了几天，然后贝内什说该研究在没有任何解释的情况下被内部关闭。

贝内施表示：“他们浪费了一个非常好的机会，去看看怎样才能减少网上的仇恨和骚扰。”在一份声明中，Twitter承认员工流失和优先事项的转变阻碍了一些研究项目，但表示仍致力于与学者合作。Twitter的一位发言人说：“我们坚信研究的力量可以促进人们对网上发生的公共对话的理解。”

与此同时，公司和公众仍然面临风险敞口。2020年7月，监管机构指控来自佛罗里达州坦帕市的17岁青年格雷厄姆·伊万·克拉克(Graham Ivan Clark)侵入了包括比尔·盖茨(Bill Gates)、埃隆·马斯克(Elon Musk)和巴拉克·奥巴马(Barack Obama)在内的多位知名人士的Twitter账户。对于Twitter来说，这是个令人尴尬的失败，其安全团队没有发现员工账户容易受到安全界众所周知的社交工程的攻击。

萨拉·T·罗伯茨(Sarah T.Roberts)认为，这些问题是科技行业抵制外部意见和专业知识的直接后果，并突显了采用更具协作性、透明度和结构性的风险评估方法的必要性。罗伯茨说：“我们承受不起公众对不知情的测试者的持续使用。今天之所以发生这样的事情，是因为40年来，任何不能立即应用于工业的东西都遭到了诋毁。”

美国算法歧视方面的专家萨菲亚·诺布尔（Safiya Noble）指出：“为了以不同的方式组织我们的经济和社会，必须想象范式的转变。我以类似于烟草或棉花巨头的方式看待大型科技公司，并问道，范式的转变是什么？与这些技术分不开的严重侵犯人权和民权行为合法吗？以此能证明他们的存在是正当的？我们知道得更清楚。这里的挑战是，这些技术经常以如此不透明的方式呈现，以至于人们看不到其他历史时刻发生的相同程度的剥削。作为研究人员，我们的工作就是将危害公之于众。”

那名17岁的Twitter黑客在7月份被捕，这促使许多人问道，硅谷最著名的公司之一怎么会如此脆弱。就在克拉克考虑72.5万美元保释金的时候，Twitter正在精心设计另一份道歉方案，洗刷和重复科技行业近20年来的事后道歉惯例。杰克·多西(Jack Dorsey)在信息泄露后发推文写道：“我们在Twitter度过了艰难的一天，我们都对这件事感到很难过。我们正在诊断，当我们对到底发生了什么有了更完整的了解后，我们会尽我们所能分享一切。向我们的队友致敬，他们正在努力修复这个问题。”

硅谷未来的风险意识会更强？

我们有理由怀疑，科技领导者是否会放慢脚步，采用诺布尔所说的那种范式转变。Facebook成立约16年后，要求政府对科技行业进行监管、放弃一种商业模式的呼声越来越高，这种商业模式得益于内容是“中立的”，平台是客观的。但批评人士指出，这种模式是利用参与度和极端主义来赚钱的。

在2020年7月下旬的一次国会听证会上，众议院司法反垄断小组委员会对苹果、Facebook、谷歌和亚马逊的商业行为进行了为期13个月的调查，来自佐治亚州的民主党众议员汉克·约翰逊(Hank Johnson)质疑扎克伯格的掠夺性市场行为。他说：“你尝试了一件事，然后出了问题，你为此道歉。然后，又重新做了一次，是不是？” 扎克伯格回答说：“我不同意这种说法。”

然而不到两个月后，Facebook在被披露未能从平台上删除与威斯康星州基诺沙反抗议活动有关的煽动性和暴力帖子后道歉。扎克伯格形容这是一个“操作错误”，不熟悉发表评论的“民兵页面”的签约版主忽略了450多条事件报道。在不久之后一个混乱的抗议晚上，两名抗议者被枪杀。

7月份的听证会被描述为大型科技公司的“烟草巨头时刻”，很明显，某种形式的监管控制即将到来。它将采取的形式还有待观察，是否会强调消费者保护、市场限制或公民权利和人权？

弗里德曼说：“我们可能会认为，对于某些类型的工具或公司来说，我们还不够明智。”事实上，去年4月，欧盟的人工智能高级别专家组(High-level Expert Group on A.I.)发布了人工智能发展的伦理指导方针，并建议面部识别等某些技术“必须得到明确的授权”，当时就已经注意到了这一点。英国议会也得出了同样的结论，它们最近撤回了使用算法来做出从福利到移民再到儿童保护的一切决定，承认伤害风险太高，无法证明它们的应用是合理的。今年9月，波特兰市议会成为美国第一个限制面部识别使用的机构，不仅限制公共机构使用面部识别，还限制可能寻求在公园、商场或杂货店等公共场所使用该技术的企业使用此类技术。

到目前为止，减轻伤害、监管，甚至撤回一项潜在的有害技术都是自愿的。例如，微软最近宣布承诺确保“综合安全”，并拒绝向美国警察部门出售面部识别技术，直到国会采取行动建立限制。但批评人士说，这还不够。诺布尔说：“看看大型烟草公司，看看化石燃料巨头，如果不是为了这些公司的利益，还能有什么证据证明这一点是有效的呢？”

科技巨头的游说投资已经等于或高于大银行、制药商和石油业的支出。最大的科技公司都在华盛顿设有人员齐全的办事处，但它们不像其他行业那样受到广泛或正式的联邦风险制度的影响。谷歌和亚马逊等公司资助了一家致力于为监管机构提供“继续教育”的机构，教授“一种不插手的反垄断方法”。

硅谷未来的风险意识会更强吗？只有当权者才能这么说。虽然呼吁公众更加积极的呼声经久不衰，但依赖人民明显减弱的力量是幼稚的。芝加哥大学布斯商学院的经济学教授玛丽安·伯特朗(Marianne Bertrand)说:“政府应该通过法律来约束利润最大化的行为。但是，太多的立法者本身已经变成了股东的雇员，他们的选举成功与竞选捐款和其他形式的巨额资金支持息息相关。”

弗里德曼告诫说，不要想得过于简单化和争论不休，并不是所有的风险都是可知的。即使是最可靠的风险评估和内容审核协议也不能防止每一种危害。她说：“记住，工具制造者并不是万能的，更好的工具本身不会改变种族灭绝、强奸、自杀等等的现实。”她认为，目标应该是改进，而不是追求完美。“设计就是设想一种更好的替代方案，并朝着那个替代方案前进，这通常意味着打破和重组目前的状况”。弗里德曼还称：“我想我们可以说，我们在开发大技术领域的专业最佳实践方面还不够努力，忽视人的价值不是一个负责任的选择。”

在美国总统大选前夕，公司越来越迫切地需要解决人们的大量担忧。Twitter和Facebook都实施了各种措施，以解决其平台上的政治虚假信息问题。例如，在大选前夕发布虚假信息或屏蔽政治的广告，但这些解决方案可能还不够深入，赌注也高得不能再高了。

今年6月，宾夕法尼亚州民主党众议员迈克·多伊尔(Mike Doyle)在众议院能源和商务小组委员会就虚假信息举行的听证会上表示：“社交媒体公司需要加强和保护我们的民权、人权和人命，而不是在国家淹没在虚假信息的海洋中时袖手旁观。毫无疑问，我们民主的未来岌岌可危，现状是不可接受的。”

与此同时，在世界的另一端，Facebook也将不得不面对过去的失败。缅甸定于今年11月8日举行大选，这是60年来的第四次大选。这将是对Facebook的又一次重大考验，该公司正在努力确保不良行为者不会利用其平台传播虚假信息或以其他方式干预民主进程。

一名Facebook员工表示，该公司一直在关注缅甸当地发生的事情，并与全国各地的不同团体举行会议，以便更好地了解背景下的风险。Facebook称，该公司正在“组建一个包括工程师和产品经理在内的多学科团队”，专注于了解该平台在冲突国家的影响，发展和扩大语言能力，以及提高公司审查潜在有害内容的能力。

然而，该团队可能不包括广告部的代表。Facebook的一位发言人说，负责审查广告的团队与审查用户生成内容的团队是分开的。一位消息灵通的Facebook高管称：“Facebook广告销售部的人员正在努力增加缅甸的广告内容和商业广告，这是为了让更多的人加入这个平台。有一段时间，由于即将到来的选举，人们甚至在内部提议关闭缅甸的广告。最终，他们没有选择这样做，但进行了讨论。”

这些人称：“对于我们这些人来说，考虑风险似乎真的很难，而且对待风险也不够认真，因为所有这些事情都归结到我们的人类审查员身上，而我们已经没有那么大的能力。我们已经确认，我们将无法获得更多的能力，我们有一个风险非常高的选举即将到来，而这个地方有暴力历史。那么我们要做什么呢？为迎接某种灾难做好准备？“