36氪领读 | “刷脸时代”有哪些潜在风险？

编者按：当下，科技正处于大迸发时代。新技术的开发、大数据的使用、人工智能的探索等，为人类提供了各种各样的便利，同时也带来了前所未有的风险，如隐私安全、网络犯罪、网络战争、分化的社交媒体、人工智能伦理道德和科技造成的差距日益扩大等问题。

科技的进步带给我们方便快捷的生活方式，同时，也引发了一系列的问题。本文选自《工具，还是武器？》，让我们跟随作者一起来了解人工智能尚且存在的一些风险吧。

不同于美国的避免过度干预原则，欧盟正在考虑更为严格的人工智能政策。近日，彭博社披露的一份欧盟人工智能“白皮书”草案显示，欧盟计划对人工智能开发者提出具有法律约束力的新要求，以确保现代科技的开发和使用符合道德规范。据路透社报道，这份长达18页的草案建议3至5年内禁止人脸识别技术应用于公共场所，目的是留出更多时间评估技术风险。

科技存在被滥用的风险

2002年6月，史蒂文·斯皮尔伯格执导的新片《少数派报告》首映。这部电影是根据科幻小说作家菲利普·迪克1956年的著名短篇小说改编的，以2054年已消灭了犯罪的华盛顿特区为背景，由汤姆·克鲁斯主演。剧中，汤姆·克鲁斯扮演精英警察部门“预防犯罪小组”的一位主管，这个小组的职责是在凶手实施犯罪前逮捕他们。

该小组有权根据三位“先知”所看到的意象实施逮捕，因为这三个人拥有洞悉未来的超自然能力。但是很快，“先知”预测克鲁斯自己将犯下谋杀罪行，因此他不得不开始逃亡，躲避自己部门的追捕—在一个所有人和所有行为都受到追踪的城市里。

15年之后再回头看这部影片，值得庆幸的是，这种执法方式看似有些牵强。不过今天，《少数派报告》中的一个场景似乎远远早于2054年就已经成为现实。影片中，克鲁斯在逃亡时走进了一家盖普店。这家零售商拥有一项技术，可以识别每一位进店的顾客，并会立即开始在一个显示屏上展示它认为顾客会喜欢的衣服图像。

有些人可能觉得这个服务很有吸引力，但其他人可能会觉得它们很烦人甚至令人毛骨悚然。简而言之，进入一家这样的商店，就好比我们有时候浏览完网络后再去看社交媒体信息，却发现上面有我们刚刚在网页上浏览之物的广告。

在《少数派报告》中，斯皮尔伯格希望观众思考，科技如何既能被利用也能被滥用—科技可被用来在犯罪实际发生前消除犯罪，可一旦出了问题，它也可能被滥用来侵犯人权。在盖普商店里识别克鲁斯的技术是依赖于嵌入他体内的一块芯片。在21世纪的前20年，现实世界的技术进步甚至已经超过斯皮尔伯格的想象，因为今天已经不需要这样的芯片。

人脸识别技术利用基于人工智能的计算机视觉与相机，辅以云数据，可以识别进入商店的顾客面孔，无论他们是上周还是一小时前曾经来过。这项技术正在为科技行业和政府创造一个先手机会，如何用一种重点突出而又切实具体的方式来处理人工智能的道德和人权问题，而它们能否抓住这个机会，就要看它们怎样决定来监管人脸识别技术了。

对于大多数人来说，最初简单场景的应用，如编目和搜索照片，现在已经变得日益复杂。很多人已经习惯了依靠人脸识别，而不是用密码，来解锁iPhone或Windows笔记本电脑。其应用不会仅止于此。

面部和指纹一样独特

现在，一台电脑已经可以完成我们几乎所有人从一出生就能做的事—识别人们的脸。对我们大多数人来说，这在一开始是能够认出妈妈的能力。养育孩子的乐趣之一，就是在进入家门的时候看到蹒跚学步的孩子激动地向你扑来。这种会一直持续到青少年时期的反应有赖于人类天生的人脸识别能力。虽然这是我们日常生活的基础，但我们几乎从不停下来思考是什么使它成为可能。

事实证明，我们的脸和指纹一样独特。我们的面部特征包括瞳孔之间的距离、鼻子的大小、微笑的样子和下巴的轮廓。计算机可使用照片来绘制这些特征并将它们编织在一起，并以此为基础建立一个数学方程，这些数学方程可以通过算法来访问。

人们正在把这项技术应用到世界各地，以便改善人们的生活。在某些情况下，这样做是为了方便消费者。澳大利亚国民银行正在利用微软的人脸识别技术开发一种服务，可以让顾客走到ATM前，无须银行卡即可安全取款。这些ATM可以识别顾客的面孔，然后他们就可以输入取款密码并完成交易。

在其他场景中，这种技术可带来更大的好处。在华盛顿特区，美国国家人类基因组研究所正在利用人脸识别技术帮助医生诊断一种被称为DiGeorge综合征（DGS）或22q11.2缺失综合征的疾病。这是一种多发于非洲、亚洲或拉丁美洲人口的疾病。它会导致各种严重的健康问题，包括心脏和肾脏的损伤。

患有这种病的人也常常带有特定的面部特征，这些特征可以通过电脑使用人脸识别系统加以识别，从而帮助医生诊断出需要帮助的病人。

这些场景说明了一些重要和具体的方法，以便使人脸识别可以用于造福社会。这是21世纪的新工具。

然而，和许多其他工具一样，它也可以变成危险的武器。人脸识别很容易与更广泛社会问题交织在一起，并提出了一个至关重要的问题：我们希望这种形式的人工智能在我们的社会中发挥什么作用？

2018年夏,弗吉尼亚州一位自称“自由软件修补者”的人在推特上发布了一系列关于微软与美国移民与海关执法局（ICE），签订合同的消息，这些消息源于当年1月微软在公司官方营销博客上发布的一篇文章。坦率地说，公司里的每个人都已经忘记了那篇博文。

不过，那篇文章表示，微软向ICE提供的技术已经通过了极高的安全门槛，将被ICE部署。文章还表示，微软公司对于能够支持该部门的工作而深感自豪，并且还有一句话提到了ICE使用人脸识别技术的潜力。

2018年6月，特朗普政府决定在美国南部墨西哥边境把非法入境者的孩子与家人分开，这迅速成为一个爆炸性问题。公司几个月前发表的一份营销稿现在看来已大不相同，而人脸识别技术的用途看起来也完全不同。人们担心ICE和其他移民机关可能会把像人脸识别这样的技术应用到工作中。

这是否意味着，当移民在城市街道上行走时，连接到云端的摄像机可以用来识别他们的身份？这是否意味着，鉴于这项技术的现状，以及它可能产生偏差的风险，它可能会错误辨识某个人并导致其被错误拘留？这只是许多问题中的两个。

按照惯例，我们首先要弄清楚公司与ICE的合同到底包括了什么。

经过深入调查，我们发现这份合同根本没有被用在人脸识别上。谢天谢地，微软也没有参与任何在边境线上将孩子与其家人分开的项目。相反，这份合同其实是帮助ICE将其电子邮件、日历、消息和文档管理工作转移到云端。这与我们在美国和世界各地与客户（包括其他政府机构）合作的项目类似。

尽管如此，这件事仍然产生了一个新的争议。

请政府监管

有些人正在极力鼓吹科技公司应该采取主动行动，对于我们反对的政府政策，终止为政府机构提供所有服务。科技现已成为我们生活中一个关键的基础设施，如果不能及时更新技术—或者更糟的是，简单做出终止技术服务的决定—可能带来各种意想不到的后果。

正如萨提亚在我们的内部谈话中多次指出的那样，政府正在以电子邮件为工具帮助非法移民家庭团聚。如果我们把邮件系统关掉，谁知道会发生什么。

这让我们得出结论，抵制美国政府机构是错误的做法。但主张采取这种行动的人，包括我们自己的一些员工，提出了一些正确的问题。例如，人脸识别技术带来的挑战需要受到更多关注。

经过深思熟虑，我们得出结论，这项新技术应该受到新的法律法规约束。这是保护公众隐私需求，化解偏见和歧视风险，同时使创新得以继续的唯一途径。

这一点凸显了在公共安全与人权由来已久的矛盾之间的艰难权衡。它还表明了许多有关人工智能的新型伦理道德决定的主观性质。当然，我们同样担心，正如那位团队领导和其他人所指出的那样，如果我们拒绝提供这项服务，可能会有其他公司乘虚而入。

在这种情况下，我们不仅会丢掉生意，还不得不在其他人帮助将技术用于我们所反对的有害目的时只能袖手旁观。不过，我们权衡了所有这些因素，最终得出结论，我们需要尝试给这种新技术的发展奠定某种类型的道德基础。这样做的唯一办法就是拒绝将其用于某些用途，并推动更广泛的公众讨论。

这种原则性的方法在加州本地的一个警察部门联系我们时经受了考验，他们表示，他们想为自己的所有车载和手持摄像机配备一种能力，使其可以拍摄被拦下的人的照片，甚至包括例行检查时被拦下的人，并查看他们是否与其他罪行的嫌疑人数据库相匹配。

我们理解他们的逻辑，但向他们建议，由于人脸识别技术仍然不成熟，因而无法在这种情况下部署。至少在2018年，如此使用这一技术将导致过多的错误匹配，并针对被错误识别的人发出警报，特别是如果他们是有色人群或女性，因为针对这两类人群的错误率仍然较高。我们拒绝了这项交易，并说服了警察部门放弃将人脸识别用于这一目的。

这些经验提供了一些启发，帮助我们思考可以应用于人脸识别的原则。但我们担心，如果我们走上这条伦理大道，但被那些根本没有实施任何防范或限制措施的公司削弱，无论这些公司是在西雅图的另一侧，还是在太平洋的另一侧，则我们的做法都不会产生什么实际影响。

与许多基于人工智能的技术一样，人脸识别也会随着大量的数据积累而改进。这就使公司拥有动力尽可能多地进行早期交易，从而导致商业竞争的风险，而科技公司将被迫在社会责任和市场成功之间做出选择。

防止这种恶性竞争的唯一办法是确立一个支持健康市场竞争的责任底线，而一个坚实的底线基础要求我们确保这项技术以及开发和使用它的组织受到法治的约束。

我们从以往针对其他技术所实施的监管中汲取了经验。在许多市场中，兼顾各方利益的平衡监管方式为消费者和生产者双方创造了更健康的动态关系。在20世纪，汽车工业曾花了几十年的时间来抵制监管要求，但今天，人们广泛认识到，法律在确保强制安装安全带和气囊，以及更高的燃油效率方面发挥了重要作用。同样的情况也适用于航空安全以及食品和药品管理。

当然，谈论监管的必要性是一回事，而界定什么样的监管最为合理则是另一回事。2018年7月，我们公布了一个我们认为需要考虑的问题清单，并就可能的答案征求人们的意见。讨论首先在员工和技术专家中展开，但很快扩展到全国和世界各地，包括美国公民自由联盟这样积极参与这个问题讨论的公民自由组织。

我们不再像大多数科技公司那样，坚守抵制政府干预的传统。我们以前进行过那样的抗争。相反，我们已经认可并支持我们心目中更积极但更平衡的监管方式。这也是我们早在2005年就呼吁美国联邦隐私保护立法的原因之一。我们认为，无论是对科技行业还是对社会，这种做法从普遍意义上来说都比完全依赖科技行业自行解决一切问题的做法要好得多。

行动之前：我们能做什么？

在更迅速地开始行动之余，深思熟虑并确保迈出正确的前几步也很重要。在这一点上，我们相信我们拥有一系列想法来应对人脸识别技术。我在华盛顿特区的布鲁金斯学会宣布了我们对新立法的主张，并公开发表了我们提案的更多细节。然后，我们开始巡回推广这一主张，在接下来的6个月里，我们在美国和世界其他8个国家的公共活动和立法听证会上对它进行了推介。

我们认为，立法可以解决三个关键问题，即偏见风险、隐私和对民主自由的保护。我们相信，一个运作良好的市场有助于更快地减少偏见。我们遇到的客户都没有兴趣购买错误率高，并导致歧视的人脸识别服务。但如果客户缺乏信息，市场就无法正常运转。

为了帮助减少歧视风险，我们认为新的法律还应该要求，部署了人脸识别的组织首先应培训员工审查结果，然后再做出关键决策，而不是简单地把决策权交给电脑。除此以外，我们担心，如果一个组织在部署人脸识别时并未按照该技术设计时预期的方式，发生偏差的风险可能会加剧。训练有素的人员则有助于解决这个问题。

在某种程度上，一个更棘手的问题是，什么时候应该允许执法部门使用人脸识别技术针对特定个人进行持续的监视。

民主始终取决于人们相互见面和交谈，并在私下和公开场合讨论自己观点的能力。这有赖于人们能够在没有政府持续监控的情况下自由行动。

人脸识别技术的许多政府用途是用于保护公共安全和促进更好的公众服务，并不会引起上述担心。但是，如果将无处不在的摄像头、巨大的计算能力和云端存储结合起来，政府可以使用人脸识别技术来持续监视特定的人。它可以在任何时候做到这一点，甚至可以持续这样做。而以这种方式使用这项技术则可能会导致规模空前的大规模监视。

因此我们认为，法律只有在下列情况下才可以允许执法机构使用人脸识别来对特定的人进行持续监视，即执法机构已经获得了法庭命令（如对这种监视的搜查令），或是在紧急情况下，如人类生命面临迫在眉睫的危险。这将为人脸识别服务创建规则，这些规则与美国目前通过手机生成的GPS位置跟踪个人的规则类似。

正如美国最高法院在2018年做出的裁决，如果没有搜查令，警方将不能要求显示手机地点的手机记录，因此无法获得某人的实际行动轨迹。正如我们所说：“我们的面孔是否应该得到和手机同等的保护？在我们看来，答案当然是响亮的‘是’。”

最后，显而易见的是，人脸识别的监管也应该保护商业环境下的消费者隐私。我们正迅速进入一个时代，在这个时代，每家商店都可以安装摄像头，通过实时人脸识别服务连接到云端。从你走进购物中心的那一刻起，无论你走到哪里，都有可能不仅被拍照，而且被电脑识别。

购物中心的老板可以把这些信息分享给每一家商店。有了这些数据，店主可以了解你上次进店的时间以及你看了什么或买了什么，通过与其他商店共享这些数据，他们可以预测你下一步打算买什么。

我们的观点并不是说新的法律应该禁止所有这些技术。相反，我们是致力于帮助商店负责任地使用新技术改善购物体验的公司之一。我们相信许多消费者会欢迎由此带来的客户服务。但我们同样认为，人们有权知道什么时候使用了人脸识别，提出问题，并有真正的选择。

我们建议，新的法律应要求使用人脸识别的组织发布“醒目的通知”，以方便人们知晓这项服务。我们还呼吁制定新的法规，以决定人们在这种情况下可在何时以及以何种方式进行有意义的控制和同意。后一个问题显然需要在未来几年中开展更多的工作，从而确定适当的法律方法，特别是在隐私法律不如欧洲健全的美国。

另一个有帮助的点是考虑新法律的适用范围。在某些方面，我们并不需要鼓励普天之下都通过立法。例如，如果一个重要的州或国家要求公司为公众和学术测试提供人脸识别服务，那么这个决策将会被公布并广泛散播，从而起到引领作用。基于这一信念，我们鼓励美国各州的立法者在2019年初在全国各地准备召开会议时都分别考虑新的立法。

但在消费者隐私保护和对民主自由的保护方面，所有司法管辖区都需要新的法律。我们认识到，鉴于世界各国政府的不同观点，这一点可能并不现实。因此，仅仅呼吁政府采取行动是远远不够的。就算美国政府行动起来了，外面还有一个更大的世界。人们永远无法相信世界各国政府都会以符合人权保护的方式使用这项技术。

政府主导的需要并不能免除科技公司自身的道德责任。人脸识别技术的发展和使用应该与普遍秉持的社会价值观相一致。我们公布了与我们的立法建议相呼应的六大准则，并将其应用到我们的人脸识别技术中，我们还创建了实施这些原则的系统和工具。其他科技公司和倡导团体也开始采取类似的做法。

人脸识别问题让我们得以瞥见人工智能的其他伦理道德挑战有可能发生怎样的演变。正如我们所做的那样，我们可以先制定广泛适用的原则，随后在人工智能技术的具体应用和特定场景中对这些原则进行测试。这种方法也适用于具有潜在争议的人工智能应用更可能出现之时。

更多的问题一定会出现。并且与人脸识别一样，在遇到每个问题时，都需要针对该项技术可能应用的方式分别开展大量细致的工作。要解决许多这样的问题，最终将需要新的监管政策与科技公司主动的自我监管相结合。在面对许多这样的问题时，不同国家和文化也会存在不同的观点。

我们需要发展一种更强的能力，使各国能够更迅速、更协作地采取行动，在经常性的基础上应对这些问题。这是我们能够确保机器将永远由人控制的必由之路。

书名：《工具，还是武器》

作者：布拉德·史密斯、卡罗尔·安·布朗著

翻译：杨静娴, 赵磊

出版时间：2020年2月

出版社：中信出版集团

结语：

在科技的巨大车轮下，我们如何管理越来越强大的科技，避免它作恶？这是我们每个人都应思考的问题，而这本书，将在世界风云激荡中指出可行的路径与方向。

如果你是科技行业从业者，你需要知道如何给自己的产品加一条“安全带”；如果你是政策的制定者与管理者，你需要知道如何正确管理与监管科技行业；即便你是一个普通的技术使用者，你也需要知道这个世界正在发生什么，别全然为外界摆布。

这是微软在全球运行的经验与思考，同时也是中国企业走出国门的借鉴与警醒，更是我们共同思考人类科技，更好驾驭未来的向导。

今天的文章摘录整理自书籍《工具，还是武器？》，微软总裁扛鼎之作，比尔·盖茨、沈向洋亲自作序，美国前国务卿等人联袂推荐，直面人类科技最紧迫的争议性问题，避免“科技作恶”。

作者简介：

布拉德·史密斯（Brad Smith）

微软总裁兼首席法务官

2015年被任命为微软总裁，在微软工作20余年，带领团队在56个国家或地区开展工作。他在带领公司解决涉及科技与社会交叉领域的关键问题上发挥了关键作用，包括网络安全、隐私、人工智能、移民、公益和环境可持续性。《澳大利亚金融评论》称他为“科技行业最受尊敬的人物之一”，《纽约时报》称他为“科技行业事实上的大使”。

卡罗尔·安·布朗（Carol Ann Browne）

微软传播和公共关系部高级主管，与史密斯在世界范围内合作撰写文章，制作视频，并主导其他外部活动，共同运营“今日科技”系列博客。