编者按:本文来自微信公众号“新智元”(ID:AI_era),作者小潘。36氪经授权转载。
DeepMind进军数字医疗服务领域仍令人担忧。最新的担忧来源于谷歌旗下的这家人工智能公司聘请的一组外部审评人就数据共享提出的报告。2016年,由于与英国国民医疗服务体系(NHS)合作共享医疗数据,DeepMind遭遇了一场重大的公众争议。
在DeepMind Health Independent Reviewers的2018年报告中,存在着一系列的风险和担忧,包括DeepMind Health能够“发挥过度的垄断力量”。这是由于数据访问与流式传输基础设施是捆绑在一起提供给Streams应用程序。合同规定,将DeepMind定位为结构化健康数据与任何其他第三方之间的访问控制中介,这些中介可能在未来有希望向Trust提供自己的数字帮助解决方案。
虽然DeepMind for Streams部署的基础FHIR(又名快速医疗互操作性资源)使用开放式API,但该公司与Royal Free Trust之间的合同通过DeepMind自己的服务器连接,并禁止连接到其他FHIR服务器。这个商业结构似乎与DeepMind的共同创始人Mustafa Suleyman声称支持的开放性和互操作性的言论相悖。
DeepMind共同创始人Mustafa Suleyman
一个评论员写到:“IT领域有很多例子是公司将客户锁定在难以改变或替换的系统中。这样的安排不符合公众的利益。我们不希望看到DeepMind Health将自己置于这样的地位,即医院等客户发现自己被迫与DeepMind Health保持联系。这已经不再是经济上或临床上明智的做法。我们希望DeepMind Health能够在质量和价格上进行竞争,而不是通过巩固遗留的立场来进行竞争“。
尽管他们指出DeepMind的“对系统互操作性的陈述承诺”以及“他们采用FHIR开放API”是积极的,并写道:“这意味着其他许多中小企业有可能参与其中,一起创造一个多元化、创新的市场,并造福于消费者、创新性和经济。”
他们还补充道:“我们还注意到DeepMind Health公司打算将Streams的许多功能作为可轻松交换的模块来实施,这意味着他们将不得不依靠最好的方式来维持业务。”
然而,陈述的意图和未来潜力显然与实际情况不一样。而且,就目前而言,技术上可互操作的应用交付基础设施正受到商业合同中禁止性条款的约束,以及缺乏针对此类行为的监管阻力。
评论者还对DeepMind Health无法构建明确的商业模式表示担忧,他写道:“鉴于目前的情况,无法对DeepMind Health的商业模式做出明确的解释,人们很可能会怀疑,其中必定存在一个未透露的利润动机或是一个隐藏的议程。我们并不相信这是事实,但会敦促DeepMind Health对其商业模式保持透明,并且坚持这一能力不会被Alphabet忽略。一旦隐藏议程的理念在人们的头脑中成为固有模式,无论公司的动机如何,公共利益都很难转变。”
他们补充道:“我们已经就DeepMind Health在这一领域发展的愿景进行了详细的对话,并且知道其中一些问题还没有最终确定。然而,我们敦促DeepMind Health对他们提出的建议进行公开。“
DeepMind提出它想要建立能够按结果收费的医疗保健服务。但Streams不涉及任何AI, 这项服务也是可以保证前五年免费地提供给NHS Trusts。这就引发了一个问题,即这家Google旗下的公司打算如何收回投资。
Google当然会将一大批免费的消费产品货币化,比如Android手机操作系统,其云电子邮件服务Gmail以及YouTube视频共享平台可以收集用户的个人数据并将该信息提供给其广告定位平台。
因此,评论家们建议DeepMind阐述其在商业模式上的想法,以避免人们对医疗数据的怀疑。
该公司的历史做法也突显出,如果DeepMind被允许在数字医疗服务领域中占据主导地位,那么它存在潜在垄断的风险。例如,它的母公司能够有效地将一个免费的OEM移动操作系统(Android)转变为全球智能手机的主导。
因此,尽管DeepMind在这个阶段只与NHS信托公司签订了几份合同,但审查人员对该公司获得“过度垄断权力”的风险的担忧似乎并没有被夸大。
他们还担心,DeepMind一直在含糊地表示,它究竟是如何与母公司Alphabet进行合作的,以及哪些数据可以被转移到广告巨头身上,毕竟将广告与DeepMind对人们医疗记录的处理方法相相叠加是一种不可避免却令人不安的组合。
他们写道:“DeepMind Health能在多大程度上使自己免受Alphabet的影响,让他们在未来做一些违背自己现如今承诺的事情?”或者,如果DeepMind的现任管理层离开了DeepMind Health,一个新的CEO又能多大程度上改变今天达成的协议呢?”
“我们赞赏DeepMind Health将继续受法律和监管框架的约束,我们的大部分注意力都集中在DeepMind Health采取比法律所要求的更高的道德立场之上。这会是一切最终的样子么?我们鼓励DeepMind Health以更强硬的方式加强与Alphabet和DeepMind进行分离,从而使其能够更长久地对自身所作出的承诺负责。“
DeepMind在其网站上发表的报告中写道:“正在制定我们的长期业务模式和路线图“。
报告中还写到“我们的首要任务就是证明我们的技术可以帮助改善患者护理质量并降低成本,而不是为我们工作的早期阶段收费。我们相信,我们的业务模式应该来自我们创造的积极影响,并在我们探索的基于结果的一些因素中得以延续,以便成本至少部分与我们提供的收益相关。”
因此,除了部署一些选择公共广播节目之外,他们不知道要说些什么来平息评论家们对将健康数据货币化意图的担忧。
在与Alphabet的联系中,DeepMind也很少说些什么,他们只是写道:“我们将探索进一步的方法,以确保在所有我们的NHS合作伙伴关系中有明确的法律框架。”
他还补充道:“Trusts始终保持对数据的完全控制,我们在法律上和合同上必须遵照我们合作伙伴的指示来使用患者数据。我们将继续与Trusts公司签署法律协议,以便审查这一重要问题。“
“在我们与合作伙伴达成的法律协议中已经写到,如果他们希望寻求另一个提供商的数据处理服务,我们不会进行阻止。”
“我们希望Streams能够帮助NHS推动下一波创新浪潮。 支持Streams的基础架构建立在最先进的开放式互操作标准FHIR之上。现阶段英国NHS Digital,英国NHS和INTEROPen集团都支持这一标准。这将使我们的合作伙伴能够更容易地与其他开发者合作,帮助他们在临床前线带来更多的创新。
“根据我们与相关合作伙伴Trusts的合同协议,我们承诺在协议的五年内制定FHIR API基础设施。”
当被问及在去年公布的在用于验证健康数据访问的技术审计基础架构方面取得的进展时,他们重申了博客上的措辞,称:“我们将对设定尽可能高的信息治理标准保持警惕。今年年初,我们任命了一名全职信息管理经理来监督我们在所有工作领域使用的数据。我们还在继续构建我们的可验证数据审计和其他工具,以清楚地展示我们是如何使用数据的。”
因此,这方面的进展看起来和我们预期的一样慢。
这家Google旗下的英国AI公司在2015年开始进军数字医疗服务领域,与总部位于伦敦的NHS Trust公司悄悄签署了一项信息共享协议,并为其提供了约160万人的医疗记录,用于开发一种名为“急性肾脏损伤”的警报APP。
这家AI公司还与该NHS Trust签署了一份合作备忘录,双方在该协议中提出了将人工智能应用于NHS数据集的雄心。他们甚至还为AI项目获得了道德标志,但却一直声称没任何的Royal Free数据被送到了任何AI公司。
然而,2016年5月,通过调查性新闻而非Trust或DeepMind披露:Royal Free with DeepMind共享患者数据的范围出现了问题。
160万人的非匿名的医疗记录在没有被告知或要求得到他们的同意的情况下被共享给了Google的子公司。这一问题被数据共享安排的法律依据提出了质疑。
去年夏天,英国的隐私监管机构对该项目进行了调查,发现Royal Free NHS Trust在应用开发过程中违反了数据保护规则。
尽管人们在基于道德和法规层面对数据共享的合法性存在不满,但Streams项目仍在蒸蒸日上。Royal Free Trust继续将这一应用程序供医院临床医生使用,而DeepMind还签署了几项额外的合同,将Streams部署到其他NHS Trusts。
最近,作为于ICO结算的一部分,法律事务所Linklaters在Trust的委托下完成了对Royal Free Streams项目的审计。 虽然这次审计仅检查了Streams的当前功能,而在项目建设和测试阶段,并没有对人员病历的合法性进行历史性审核。
Linklaters确实建议Royal Free通过DeepMind终止其更广泛的合作备忘录(MOU),而且Trust已向我们证实它将遵循该公司的建议。
Royal Free发言人告诉我们:“审计建议我们终止与DeepMind达成的2016年1月签署的历史性合作备忘录。合作备忘录不再与合作关系相关,我们正在终止我们的合作关系”。
因此,DeepMind可能成为世界上最著名的人工智能公司,它正处于参与向英国医院提供数字医疗服务的异常位置,尽管这些医院也有一些与NHS Trusts进行的AI研究项目,但他们实际上并不涉及任何人工智能。
2016年年中,正值 Royal Free DeepMind数据丑闻的高峰期,为了争取更多的公众信任,该公司任命了外部审查小组,他们现在已经编写了第二份报告来研究该部门的运作情况。
公平地说,自从专家小组被任命为进一步破坏公众对技术平台和算法的信任的任务以来,科技产业发生了很大的变化:包括ICO发现Royal Free与DeepMind之间最初的数据共享安排违背了英国的隐私法。
2018报告小组的八个成员是:Martin Bromiley OBE、Elisabeth Buggins CBE、Eileen Burbidge MBE、Richard Horton、Julian Huppert博士、Donal O’Donoghue教授、Matthew Taylor和John Tooke教授。
在他们最新的报告中,外部评论员警告说,公众对科技巨头的看法与一年前相比“大幅转变”,并断言:“如果数字时代还存在隐私问题的话,那将更值得关注”。
与此同时,政界人士也更关注技术巨头的成果和社会影响。
尽管英国政府也热衷于将自己定位为AI的支持者,为该部门提供公共资金,并在其“工业战略”白皮书中将AI和数据确定为四大所谓的“重大挑战”之一,书中相信英国可以“在未来几年中引领世界”,并在重审时专门将DeepMind称作该国引以为傲的少数领先的本土人工智能业务之一。
尽管如此,关于如何管理公共部门数据,以及人工智能的部署的问题仍然需要政府进行明确解决,特别是在医疗保健等高度敏感的领域。
与此同时,即使技术人员不涉及任何人工智能,数字技术正在进入医疗保健领域并面临重大挑战,对现有的信息治理规则和结构施加压力,并增加了垄断的风险。
当被问及NHS的数字服务提供商:NHS Digital是否为NHS Trust提供任何指导,包括医生的数字帮助,特别是它是否需要由不同的提供者提供的多个选项时,它将我们的问题提交给卫生部(DOH),并指出这是卫生政策的问题。
卫生部又把这个问题提交给NHS英格兰,一个负责合同、并为英国的卫生服务制定优先次序和方向的行政非部门机构。
在写这篇文章的时候,我们仍然在等待负责人的回应。
看来最终结果将依赖于卫生服务来为AI和数字决策服务建立一个清晰和稳健的架构,通过竞争来满足Trusts在购买应用程序和服务时支持多个独立选项的要求。
没有这种重要的检测和平衡,正如大型技术主导消费技术一样,就会存在动态平台迅速支配和控制新兴的数字健康援助空间的风险。
但公费医疗决策和数据集不应简单地交给单一的市场主导机构,因为他们会将大量的资源聚敛到自己的公司。
当一个重要领域的数字创新存在明确风险,即一个领域有望成型,却有可能被一个科技巨人垄断并在其他人有机会展示自己想法之前将自己定义为守门人时,政府绝不应该袖手旁观。