谷歌内容审查出乌龙：私人相册照片被谷歌AI举报

衡宇 发自 凹非寺量子位 | 公众号 QbitAI

离离原上谱。

有位旧金山全职奶爸被谷歌全网封杀了，原因是他为了告知医生孩子的病情，用自己的安卓手机，拍下了儿子腹股沟感染的照片。

结果谷歌把这些照片标记为儿童性虐待材料（CSAM）。

当事人立刻决定上诉，但谷歌不仅无情拒绝，还标记了他别的视频和照片，搞得旧金山警察局都开始介入调查。

推特上网友们展开了激烈讨论，有人聚焦在隐私被侵犯上，有人说着宁可严管不能放过，还有一位妇科医生开始担心起自己的教学：

这到底是一场乌龙还是大离谱事件？

问题始于2021年2月。那个星期五的晚上，因儿子腹股沟肿胀，疼痛难忍，马克夫妇忧心万分。

在接受第二天的视频医疗咨询前，妻子按照护士的建议，拍了几张儿子腹股沟感染处的高清无码特写，并上传到医疗保险系统。

为了方便医生根据照片提前初步诊断，妻子拍照时，马克用手指指着儿子的不适处。

在照片的帮助下，医生诊断并开了抗生素。

△马克和儿子（图源《纽约时报》）

儿子的病解决了，马克的麻烦却来了。

没过两天，因“严重违反谷歌政策且可能违法”的“有害内容”，马克的谷歌账户被禁用。

“有害内容”包括“儿童性虐待和剥削”。

马克大呼头疼：

“哦，天哪，谷歌可能认为那是儿童色情片。”

更灾难的事还在后面。马克是谷歌的重度用户，从同步日计划到备份照片视频，都靠的是自己的Gmail账户。

但由于这哭笑不得的乌龙，多米诺效应接踵而来——他被谷歌全网封杀了！

他失去了对自己电子邮件、联系人、照片的访问权，Google Fi账户也被关闭了（这意味着他必须得去另一家运营商申请一个新电话号）。

走法律流程起诉，大概得花掉7000美元。“emm……我认为它可能不值7000美元。”马克说。

不过，马克曾经在一家大型科技公司担任自动化工具的软件工程师，该工具用于删除被用户标记为有问题的视频内容。

他知道，为了保证AI不出错，通常还有人工审核流程。

因此刚开始马克还没那么愁，他觉得只要进入人工审核阶段，他就能找回自己的账户。不然，他会和自己之前的数字生活“天人永隔”。

他填了申请表，解释了儿子的感染情况，要求谷歌对决定进行审查。

几天后谷歌审查团队回应称不会恢复账户，还悄没声标记了他别的视频和照片。更要命的是，旧金山警察局已经开始调查他。

不过有点好笑，因为Google Fi和Gmail被禁用，警员联系不上马克。

△图源《纽约时报》

费尽周折联系上后，调查员对马克进行了全面审查，最终认定这不构成虐待或剥削儿童。

但警方没办法直接和谷歌沟通，说明马克的无辜；后来马克提供警方报告，再次向谷歌上诉，仍无济于事。

无独有偶，马克账户被禁用的第二天，德克萨斯州上演了同样的戏码。

另一位孩子爹根据儿科医生的要求，用安卓手机拍了自家宝贝“内脏部位”感染处的照片，照片自动备份到了谷歌云，而后他又用谷歌聊天把照片传给了孩子妈。

结果惊人的相似，他的Gmail账户同样被禁用。因为没有电子邮件地址，他差点没法买房。

休斯顿警方邀请他到警局喝杯咖啡，在出示和儿科医生的聊天记录后，他很快被放出警局。

警察认为他无罪，谷歌却不这么认为。尽管他是用了10年付费账户的老谷歌用户了，账号还是找不回来。

现在，这位孩子爹不得不用Hotmail地址发送电子邮件，并被朋友们无情嘲笑。

2021年，谷歌提交了超过62万份涉嫌虐待儿童的报告，禁用了超过27万名用户的账户，提醒当局发现了4260名潜在的儿童性虐待受害者。

当然，其中包括了上文被冤枉的两位奶爸。

收集大量数据的科技巨头们会充当把关哨兵，检查内容，以监测和预防犯罪行为。每年，它们会标记儿童被剥削或性虐待的图像数百万次。

但内容检查可能需要窥视私人档案，比如偷看你的电子相册。两位奶爸就是没有料到这一遭，才让“求医心切”在谷歌那儿变成了“儿童性虐待”。

把关的时候，科技巨头们一般会用两种工具：

一种是微软2009年发布的PhotoDNA。

△PhotoDNA工作原理

它建立了一个虐童照片数据库，把每个人电子相册的照片和数据库里的照片对比，就算照片有细微不同，也能找出传播虐童图像的用户。

包括Facebook、Twitter和Reddit在内，都使用PhotoDNA。

另一种是2018年，谷歌发布的开发者工具包Content Safety API。

它使用深度神经网络来处理图像，让审查员在相同时长内，处理的虐童图像内容增加了700%。

谷歌自己使用这个AI工具包，也开源给Facebook等使用。

这个AI工具包的大致审查流程是这样的：

两位奶爸的照片自动备份到谷歌云，并被标记人工审核↓人工审核，确认这些照片符合对虐童图像的定义↓锁定用户账户，继续搜索账户中其他虐童图像（马克还有一张晨起全家赖床的照片，因衣衫不整，又又又被标记了）↓向国家失踪和受虐儿童中心（NCMEC）的CyberTipline报告

不得不说，谷歌AI工具包在识别图像内容方面展现出了惊人能力，CyberTipline2021年每天收到约8万份报告，由40名分析师审核，以便NCMEC能进一步报告给警方。

CyberTipline主管说，这是“系统正常工作”。

但这无疑是双刃剑，毕竟如果情节被判严重，哪怕父母是无辜的，也可能失去孩子的监护权。

虽然上文提到的两位奶爸都是用安卓拍照遭的殃，但苹果用户别高兴得太早。

毕竟，只要用谷歌，就会面临被审查。

更何况，去年苹果还宣布儿童安全（Child Safety）计划时，闹出的动静也不小。

苹果在发布的iOS/iPad OS 15.2的第二个测试版（内部版本号：19C5036e）中，增加了对儿童的保护。

简单理解一下，就是苹果要在iOS和iPadOS系统里加上图片审查功能，自动检测iPhone和iCloud是否涉及儿童色情影像与图片，用来打击儿童相关性犯罪。

当时一片反对声被掀起，不少用户认为隐私会被侵犯，90 多个非政府组织写公开信表达严重不满。

最终，苹果搁置了这项计划，无限延期。

奶爸乌龙事件发生后，马克的妻子火速从自己的iPhone里删除了为儿子拍摄的照片，生怕苹果也标记她的账户。

针对这件事，谷歌儿童安全运营负责人表示：“受大环境影响，加上远程医疗日渐普及，父母确实有必要给孩子拍照，辅助医生诊断。”

她说，谷歌已经找儿科医生帮忙，方便人工审查员了解并分辨出于医疗原因拍下的类似照片。

而马克仍然在为找回谷歌账户奔波。

在得知旧金山警方把他的谷歌账户内容保存在拇指驱动器上后，马克现在最大的心愿就是获得一份副本。

不然可太不方便了！

参考链接：[1]https://www.nytimes.com/2022/08/21/technology/google-surveillance-toddler-photo.html?auth=login-email&login=email[2]https://twitter.com/kashhill/status/1561320951102558208