神译局是36氪旗下编译团队,关注科技、商业、职场、生活等领域,重点介绍国外的新技术、新观点、新风向。
编者按:就算不用 G 家的产品,不依赖SEO引流,也能被 G 家搞残。因为你的用户需要用浏览器访问你的网站,而Chrome市场占有率最高。如果贵司的域名不小心上了Chrome的黑名单,基本上贵司的业务就要中断几小时甚至几星期。Google 的免费产品基本上是无法让你能找到一个人类客服反映问题的,都是冷冰冰的表格,然后就是等待。你的同学如果在 Google 内部工作,估计作用也不大。这该如何是好?避免不了,任何公司任何域名都有这个风险。原文标题A new and innovative way for Google to kill your SaaS startup,作者Gonzalo Sainz Trápaga。
在以前,当Google(或Google的子公司)决定要杀死你的业务时,它通常会采取拒绝你访问Google的众多业务中的一个,你可能听说过这些恐怖故事:
公司的网站在Google搜索结果被人为的排在很后面。
YouTube视频被停播,创作者失去收入来源。
Android应用从Google Play商店中被删除,无法接触到用户。
API的价格被大幅改变,或者干脆停止服务。
最后但并非最不重要的是,你的个人账号失去了对Gmail账户和相关数字服务的访问。
我发誓我已经查过FAQ了!
它们都符合同一个模式。首先,一个企业,选择使用Google的服务,使其生存完全依赖于这些服务。第二,Google作为自动化的庞然大物,做着自己的事情:它不断地微微调整自己屁股坐在沙发上的位置,并且,在这个过程中没有注意自己压碎了无数(相对Google而言)蚂蚁大小的企业。第三,这些蚂蚁大小的企业拼命地想通知Google,他们被碾压了,但他们根本得不到真正地回应。
有时候,蚂蚁大小的公司的CEO认识Google的高层,因为他们是大学同学,或者CTO写了一篇文章,上了开发者社区的首页。然后,Google注意到了蚂蚁公司的问题,有时会认为相关问题值得解决,通常是因为担心可能带来的监管影响。
为此,如果可能的话,你不应该把你的业务建立在过度依赖Google的服务上。而如果你设法避免依赖Google,你会发现这是可能的。
在今天的 “互联网已今非昔比”的话题中,我们来谈谈谷歌不经意间碾压你的创业公司的一个全新方式,它不需要你以任何方式使用谷歌的服务。
你是否知道,你的网站的域名有可能被Google无缘无故地列入黑名单,而且这个黑名单不仅在Google Chrome浏览器中直接执行,而且还被其他一些软件和硬件供应商执行。你知道吗,这些其他厂商同步这个名单的时间和原因都是千变万化的,这种方式会让任何试图修复都变得非常困难和不可预知?你是否知道,谷歌回复你的相关问题的反馈速度,至少要一周的时间?
你的产品就这样被谷歌封杀了。
谷歌把这个黑名单“功能”称为谷歌安全浏览,上面的图片描述了如果你的一个域名恰好在安全浏览数据库中被标记,你的用户将看到的信息。警告文本的范围从 “前方有欺骗性网站”到 “前方网站包含恶意软件”,但它们都有一个同样可怕的红色背景设计,以及不可能让人们跳过警告并正常访问该网站。
第一次遇到这个问题时,我们是从激增的客户反馈中了解到的,客户说他们在尝试使用我们的SaaS时看到了红色警告页面。第二次遇到这个问题时,我们准备得比较充分,因此有了一些空闲时间来写这篇文章。
我们公司InvGate是一个面向IT部门的SaaS平台,运行在AWS上,拥有1000多家中小企业和企业客户,为数百万终端用户提供服务。也就是说我们的产品提供给客户的IT团队用来管理自己用户的问题和请求。你可以想象,当IT经理们的IT票务系统突然开始向他们的终端用户显示这种不祥的安全警告时,他们会有怎样“愉快”的反应。
当我们第一次遇到这个问题时,我们用各种方法试图了解发生了什么,我们学习了Google安全浏览(GSB)的工作原理,同时我们的技术支持团队试图跟上客户报告这个问题。我们很快意识到,我们用于服务静态资产(CSS、Javascript和其他媒体)的一个Amazon Cloudfront CDN URL已被标记,这导致我们使用该特定CDN的客户实例的整个应用程序失败。对据称受影响的系统进行快速检查后发现,一切看起来都正常。
当我们的DevOps团队在全员应急模式下工作,以建立一个新的CDN,并准备将客户转移到一个新的域名上时,我发现谷歌的文档声称GSB提供了额外的解释,说明为什么一个网站在违规网站的谷歌搜索控制台(GSC)中被标记。但为了访问这些信息,你必须在GSC中宣称对该网站的所有权,这需要你设置一个自定义的DNS记录,或者将一些文件上传到违规域名。我们争分夺秒地做着这一切,20分钟后,成功地找到了关于我们网站的报告。
报告的内容是这样的:
基本没啥参考价值
该报告还包含一个“请求审核”按钮,我立即点击了该按钮,但没有对该网站采取任何实际行动,因为没有任何关于所谓问题的信息。我提出了审查申请,并附上了一条信息,指出没有列出任何违规的URL,尽管文件显示Google总是提供URL示例,以帮助网站管理员发现问题。
要求审核无效的报告,会导致我以后的审核速度更慢。
大约一个小时后,在我们完成将客户从CDN转移出去之前,我们的网站就从GSB数据库中被清除了。大约2小时后,我收到一封自动邮件,确认审核成功。但没有说明是什么原因导致了这个问题。
在此事件发生后的一周内,尽管我们的URL已从安全浏览黑名单中清除,但我们仍不断收到零星的报告,称有客户难以访问我们的系统。
Google安全浏览提供了两种不同的API,供商业和非商业软件开发商在其产品中使用他们的黑名单。特别是,我们发现至少有一些使用Firefox的客户也遇到了问题,而且客户的防病毒/反恶意软件和全网安全设备也在问题解决后的许多天内标记我们的网站,并阻止用户访问。
我们继续将所有客户从之前的黑名单CDN转移到新的CDN上,问题因此得到了彻底解决。我们从来没有确定问题的真正原因,但我们把它归结为谷歌的一些人工智能问题。
如果你经营的SaaS业务有可用性服务级别协议,莫名被谷歌安全浏览标记,带来了一个非常真实的业务风险。
遗憾的是,鉴于标记和审查网站的机制非常不透明,我不认为你有办法完全防止这种情况发生在你身上。但是,你肯定可以构建你的应用和流程,以最大限度地减少它发生的机会,降低实际被标记的影响,并在出现问题时最大限度地减少解决问题所需的时间。
以下是我们正在采取的步骤,因此我建议:
不要把所有的鸡蛋都放在一个篮子里,域名方面的问题,GSB似乎会标记整个域或子域。因此,将你的应用分布在多个域名上是个好主意,因为这将减少任何单个域名被标记的影响。例如:company.com代表你的网站,app.company.net代表你的应用,eucdn.company.net代表欧洲的客户,useastcdn.company.net代表美国东海岸的客户,等等。
不要在你的主域中托管任何客户产生的数据。我在研究这个问题时发现的很多黑名单的案例都是由于SaaS客户在不知情的情况下将恶意文件上传到服务器上造成的。这些文件对系统本身是无害的,但它们的存在会导致整个域被列入黑名单。你的用户上传到你的应用程序上的任何东西都应该托管在你的主域之外。例如:使用companyusercontent.com来存储客户上传的文件。
主动在谷歌搜索控制台中申请你所有域名的所有权。如果你这样做了,这不会阻止你的网站被列入黑名单,但你会在事件发生时收到一封电子邮件,这将使你能够对问题做出快速反应。这需要一点时间来做,当你真正处理这种影响客户的事件时,这是宝贵的时间。
如果你需要的话,要做好跳域的准备。这是最难做到的事情,但它是防止被列入黑名单的唯一有效工具:对你的系统进行工程设计,使其引用的服务域名可以很容易地被修改(通过有脚本或协调工具来执行这种变化),甚至可能有替代域名可用并随时准备。
我的建议如下:
如果你能轻松、快速地将你的app切换到一个不同的域名,这是唯一能可靠、快速解决该事件的方法。如果可以,就这样做。你就没事了。
如果做不到这一点,一旦你确定了被封锁的域名,查看出现在Google Search Console上的报告。如果你在这之前没有声称该域名的所有权,你现在就必须去做,这需要一些时间。
如果你的网站确实被黑了,请解决这个问题(即删除违规内容或被黑的网页),然后请求安全审查。如果你的网站没有被黑,或者安全浏览报告是无稽之谈,那么还是要求进行安全审查,并说明报告是不完整的。
然后,与其在痛苦中等待,假设停机时间对你的系统或业务至关重要,不如无论如何都要着手转移到一个新的域名。审核可能需要几个星期。
在第一次事件发生的几个月后,我们收到了一封来自Search Console的邮件,警告我们的一个域名被标记了。在这封最初的电子邮件报告几个小时后,我收到了另一封有趣的电子邮件,你可以阅读下面的内容。
sc-noreply@google.com 中的 "sc "代表 "Search Console"。
让我总结一下,因为它相当令人震惊。这封邮件指的是搜索控制台的黑名单提醒邮件。这第二封邮件说的是,G Suite的自动钓鱼邮件过滤器认为谷歌搜索控制台关于我们的域名被列入黑名单的邮件是假的。这当然不是,因为当我们收到这封邮件时,我们的域名确实被列入了黑名单。所以,谷歌甚至不能决定它自己的关于钓鱼的电子邮件警报是否是钓鱼的。(?)
任何从事技术工作的人都非常清楚,大型企业技术巨头在很大程度上是互联网的守门人。但我倾向于以一种宽松、隐喻的方式来解释这一点。这篇文章中描述的安全浏览事件非常清楚地表明,谷歌实际上控制了谁可以访问你的网站,无论你在哪里以及如何操作它。由于Chrome浏览器拥有约70%的市场份额,而且Firefox和Safari浏览器都在一定程度上使用了GSB数据库,谷歌只需轻轻一弹,就可以使任何网站在互联网上几乎无法访问。
译者:蒂克伟