为了满足自身业务要求、保证数据的稳定和可靠,很多互联网巨头都会建有自己的数据中心,比如国外的谷歌、Facebook、微软、亚马逊,国内的百度、阿里、腾讯。事关数据安全,互联网公司们一般也不会对外公布太多数据中心的情况,至于潜进去,当然也是不行的……
所以,我当然是被邀请过去的,即便是这样,这个邀请也要经过邀请邀请严格审批,而且进去的时候不能携带任何电子设备。这也让互联网大公司的数据中心蒙上了一层神秘的色彩。谷歌曾经在2012年邀请过媒体,首次曝光它们的数据中心。
最近,国内的互联网巨头百度,也邀请了一些媒体和自媒体人,参观公司最大的数据中心——百度云计算(阳泉)中心。这是百度数据中心首次邀请媒体参观,在进入机房之前,我用爪机拍了一下数据中心园区和数据中心建筑。
据百度相关负责人介绍,这个数据中心于2012年8月19日在山西省阳泉市奠基,2014年正式投入使用;总建筑面积12万平方米,服务器设计装机规模超过16万台。
阳泉是百度创始人兼CEO李彦宏的故乡,把这么大的数据中心建在这里,无疑也稍稍拉动了当地的GDP和就业。数据中心的选址当然不会那么简单。
首先,要考虑用户体验,即服务响应速度,似乎应该在离用户最近的地方,与网民分布成正比;而且在大城市,往往也意味着更好的人力资源,不少互联网公司会在北京、上海等地建数据中心。
第二,要考虑运营成本,在魔都和帝都建起N个十几万平方米园区,想想就知道不可能,成本显然是个超级大问题。数据中心还是耗能大户,根据IDC预测,到2024年数据中心耗电量将占到全社会耗电量的5%以上,其中散热占很大比例,不少大公司为了节省散热成本把数据中心建在气候寒冷的爱尔兰。因而,当地地价、水电气的供应量和成本,也需要在考虑之内。这听起来似乎跟比特币工场为了省电建在深山有异曲同工之处。
第三,要考虑运营安全,远离自然灾害易发区,选择气候稳定适宜、环境清洁的地区。要知道数据中心里面放着的,都是公司的、用户的数据,要是这些一把火被烧掉或者洪水冲走了,公司的业务可能会停摆;同时也要尽量避开污染物,防止硬件被腐蚀。
第四,要给合当地政策。要是当地政府愿意给提供更低的价格让你用地、水、电,想想能省多少。
说回园区,我们走进了其中下面这座满是落地玻璃,而且看起来四通八达的圆柱型建筑建筑之后,见到了一位接待我们的妹子,要好好珍惜——听说整个数据中心的百度女员工,就只有两个了。
随后一位工程师跟我们介绍了一下数据中心的基本情况,这z座数据中心机房设计等级为T3+、可用性为99.99%+、年均PUE(Power Usage Effectiveness,能源使用率)1.11。腾讯云最近开放的成都数据中心,同样是T3+,国内的数据中心基本能达到T3,至于可用性,可以从时间的角度去理解,可用性为99.99%,意味着每年365天中有99.99%的时间正常服务。
值得注意的,是百度这个数据中心的PUE,一位数据中心业内人士表示,“这个有点厉害。”
PUE=数据中心总设备能耗/IT设备能耗,是评价数据电能效率的指标,基准是2,越接近1表明能效水平越好,越节能。国内新建数据中心平均PUE 1.73。如果达到1,可以理解为这座数据中心把所有电都用在计算上了。
百度相关负责人表示,园区全部投产之后,数据中心年节电量可达2.5亿度,相当于13万户居民(在中国这大概是一个小镇的人口)的年用电量。
说了那么久,我们开始进机房吧。
据百度的相关负责人介绍,阳泉数据中心90%以上是百度自研的“北极”(天蝎)整机柜服务器,支持40摄氏度环境温度长期运行。这些服务器长这样:
机房分为冷通道和热通道,上图是冷通道,下图是热通道。相信看到图中的散热器你大概也懂为什么这叫热通道了……体验了一下其实也没有很热,还没有当时室外体感温度高……
据说热通道平时在黑暗中工作时长这样,开灯只是为了让访客好好参观……
再来近距离看看服务器:
下图是服务器内部:
百度相关负责人带着我们参观了两种机房,采用不同的散热技术。
一个是采用顶置空调末端(Overhead Cooling Unit)的OCU机房,让空气自然对流,服务器就近进行冷却。结合下面那些图看看,服务器上面细细的小管里面,流着冷冻水,相较于下面的服务器,水管周围的空气更冷,冷空气密度比下面的热空气大,会自然下沉,散发出来的热空气则会自然上升,从而实现冷热交换。水管里的水会一直不停循环流动,冷冻水被加热之后会被再次冷却。
另外一个是高温服务器机房,采用AHU(Air Handle Unit)风墙冷却技术,配合高温耐腐蚀服务器。下面那堵,就是风墙,后墙背后是给机房送冷风的AHU空调。百度相关负责人表示,其实冷源可以是室外新风,也可以是冷冻水,目前大部分数据中心用的都是自然冷源。
氪星读者可能会很好奇,冷冻水帮服务器周围的空气降温了,谁帮它降温?
答案是,还是水,这些水的名字叫冷却水……冷却水就是冷却冷冻水的水。
这听起来有点绕。Anyway,冷冻水在服务器机房被加热之后,就会流到冷冻站机房,在这里跟冷却水进行热量交换,降温之后再流回机房。
那么问题又来了,谁给冷却水降温呢?答案是室外的空气。加热后的冷却水通过水泵提升到外面的冷却塔,跟空气作热量交换。
百度相关负责人解释,此时冷却水跟外面的空气发生过接触了,就已经被“污染”了,要通过污水处理系统净化,可以回收约45%的水。园区全面投产之后,可实现年节水48万吨,相当于4000多户居民的一年的用水量。
百度方面表示,一年之中阳泉云计算中心只有极短的时间才需全部开启冷水机组来制冷,。根据室外天气情况,通过机械制冷、预冷、自然冷却三种模式切换,数据中心全年免费冷却时间达到96%以上。
此外,阳泉数据中心还有一部分的电是来自楼顶的太阳能光伏发电系统供电,所以顶层有一堆光伏电板。
参观得差不多了,顶层实在太热了,宝宝要回室内淡定一下……
注:我是36氪作者卢晓明,交流可加作者微信lohiuming,请务必注明公司、职务与事由。