热门资讯> 30万“程序猿”的未来简史:去O,上云 >

30万“程序猿”的未来简史:去O,上云

转载时间:2021.09.26(原文发布时间:2020.06.12)
168
转载作者:36氪企服点评小编
阅读次数:168次

编者按:本文来自微信公众号“Tech星球”(ID:tech618),作者:张宇婷,36氪经授权发布。

“有一天醒来,我站上体重秤,显示身体年龄57岁。”

不久前,脱口秀演员呼兰决定不再兼职程序员工作。毕业于哥伦比亚大学精算专业的呼兰,曾经在上海担任创业公司CTO。上秤那天,他的“第一个想法是,再干3年就可以退休了”。

6月9日,在一场名叫“头号云话题”的对话节目中,呼兰碰到了另外一位“师祖级”程序员盖国强。盖国强轻松谈笑,毫无焦虑感,甚至摸摸自己刚剃的发型,打趣道,“我的发型,已经是从青铜到王者”。节目被制作方传到抖音、B站上,一些留言评论,这位发型一看就是大神。

在中国超过30万数据库工程师(简称DBA)中,盖国强的确是大神,甚至影响了整个职业群体发展。曾经被Oracle(甲骨文)公司授予Oracle ACE Director(ACE 总监)称号,这是Oracle公司对外部所能授予的最高技术荣誉,当他在2008年作为国内首位大咖获得这个称号时,商业数据库正如日中天。

当年,腾讯、阿里巴巴、华为,所能想到的互联网大厂,都以最高薪招聘数据库工程师,甚至可以达到月薪10万;而盖国强建立了圈内最好的线上社区,出版了10多部业内追捧的Oracle业务手册。令人想不到的是,他和呼兰探讨的话题竟然是:商用数据库工程师,会不会在两、三年后像恐龙一样灭绝?

疫情中的三种流量峰值

“需要焦虑的不是程序员,而是传统厂商……” 坐在盖国强身边的李飞飞说。花名飞刀,快言快语,李飞飞是有全球影响力的达摩院首席数据库科学家,阿里巴巴副总裁,阿里云数据库负责人。

30万“程序猿”的未来简史:去O,上云

左为云和恩墨、ACOUG创始人盖国强,右为阿里云数据库负责人李飞飞

盖国强点点头说:“得DBA者得天下”,谁能让30万人更快拥抱云原生,谁的数据库就将取得未来的市场。全球权威的技术咨询公司Gartner预计,2023年前,75%的数据库会跑在云端,不再是公司采购的设备上。

正在度过的疫情中,直播带货、在线教育、在线娱乐,屡屡突破流量峰值。三个似乎毫不相关的场景背后,是同样的数据大量并发交互。这背后的云原生数据库,承受了普通人也能感知的一些考验。

6月6号晚,刘涛(花名刘一刀)在淘宝直播单场破2.2亿元的销售额,创下明星直播带货的新记录。刘一刀入职阿里后,四场直播,场场观看人数都破亿。其中,每一笔交易,都要同时录入10几个关键数据,包括资金、库存、用户等各个维度,出错一个,买不到货的“剁手党”一定会跳起来。

前一个周末,在线教育独角兽猿辅导,例行模拟考试,百万量级学生同时在线参加。这类考试,系统会10分钟内直接评分,并生成智能诊断分析报告。

猿题库产品技术总监张文治告诉Tech星球(微信ID:tech618),每天至少会2.5亿道题目的数据产生,学生、家长、老师,都在产生数据的链路上。通过大量数据进行教学交互分析,也是猿辅导的强项。

由于境外地区仍然居家隔离,让在线娱乐需求陡然增加,游戏出海领头羊莉莉丝、taptap等继续在东南亚、日本市场获得高速增长。同时,玩家数量和时长的增加,让实时数据驱动运营的难度增大。

这些场景下,大量级的数据交互,目前都跑在阿里巴巴的数据库产品上。天猫双11是更大的场景,其中PolarDB产品甚至每秒支持8700万次交易事务。

如果由一家公司去购买传统商业数据库,再部署在自己服务设备上,完全无法做到实时、低成本。商业数据库的收费按年计算,商业谈判周期按月度起算,上述场景的数据峰值,都是在几天甚至一天之内发生。

传统商业数据库时代,还要花费DBA大量搬砖精力进行安装部署、升级扩容等基础性工作。任何数据的提取、分析也都需要人工操作,而未来的数据管理趋势是智能化。数据管理工作,因为云和AI正在变得更加智能化,架构师、算法工程师成了当下的热门职业。

云原生数据库技术革命,联动着DBA人群的职业发展。以盖国强为代表的,以使用Oracle为主的30万数据库技术人才(行业社区估算),要同时经历这场云原生技术的变革洗礼。

6月9日,李飞飞也公布了大量阿里云客户的意愿,今年要帮助1000家企业替代传统数据库(业内普遍称为“去O”),10000套传统数据仓库上云。

「Hi,师祖」

由于盖国强在数据库领域工作了20年,他拿出一张手机截图,年轻一代已经常用“师祖”的称呼跟他说“hi”。

“看清走势,云是一个大趋势”,这位曾经摘得商用数据库至高荣誉的人,却在2014年成为最早一批转型云数据库的工程师。

早在2011年,盖国强和自己在运维社区中认识的几个朋友,成立了创业公司“云和恩墨”,把“云”这个字写进公司的名字里。

30万“程序猿”的未来简史:去O,上云

盖国强公司「云和恩墨」合照

盖国强在Oracle商用数据库圈子里太有名了,以至于他将自己的公司和云绑定在一起,让业内人士感觉“挺反认知的”。

2014年恐怕是创业几年后,印象最为深刻的一年。当年7月,北京下了一场罕见的大雨;另一面,一个客户投入了半年多时间的项目上线在即。

7月20日,就在项目上线的第二天,系统出现了严重的性能问题,频繁崩溃。当客户找到盖国强时,满怀期待的问,到底有没有办法彻底解决,在变更发布中循环往复出现的性能故障。

抱着认真的责任感,还有过往的经验,盖国强和团队拿出全部的技术积累诊断优化系统,将引发问题的SQL进行了全面的优化。虽然最后系统恢复,但盖国强和客户深度复盘:要从根本上杜绝上线故障,一定要在变更发布前进行严格的SQL无死角地毯式排查。

“打死我也不做!”

谁知,在交代接下来的工作时,团队中一位刚刚从阿里云来加盟,被盖国强在圈内名气吸引的技术专家,竟然反驳道。

“我愿意用产品化的方式实现出来,发挥技术的最大优势,而不再是像以前一样用人力循环往复。”他说道。

盖国强以为,凭借自己多年的经验,前置的审核排查消灭问题,已经是最好的解决方案;他想不到的是,一个刚刚入职的年轻员工却用互联网的方法,更进一步,改变了他的认知。

复盘公司过去三年的发展历程,确实,如今越来越多的用户上了云,一位金融客户在当时已经将核心业务搬到云上。但彼时盖国强的公司还在靠着人力提供服务,成功的项目甚至还带点“个人英雄主义的色彩”。

可这能让公司走多远呢?

盖国强反思,”是否可以通过一种云上的产品,将技术普适化?”

选择,因为相信还是因为看见?

“退回到过去,最难的是前瞻”,盖国强对Tech星球(微信ID:tech618)说。

16年前,2004年的淘宝曾经有着全球最大的 Oracle 集群,但互联网发展的速度太快,阿里巴巴对数据的需求超过了IOE(IBM小型机、Oracle数据库、EMC存储)的极限。2008年,时任阿里巴巴首席架构师、阿里云CTO王坚首次提出“去IOE”,但当时,阿里巴巴内部从技术大牛到一线实习生,都觉得去IOE是不太靠谱的事情。

在曲折中前进,阿里巴巴能够“去IOE”的成功背后,是阿里巴巴三任CTO的合力。除了当时CTO王坚,还包括前任阿里巴巴CTO、现任阿里云总裁行癫在淘宝的推动,以及现任CTO鲁肃在支付宝金融平台上的努力。

2014年的时候,技术大拿盖国强当然知道,阿里巴巴脱离商用数据库过程中经历的所有难题。倒退回2014年,行业大势是没能看得清楚的。如今已是全国第一、全球第三的阿里云,在当时不过成立5年,没有像今天这样成功。

盖国强很佩服Salesforce创始人贝尼奥夫,这家SaaS公司与Oracle、AWS齐名,是引领了云技术的开创性公司。

贝尼奥夫在1999年创立Salesforce,推出“no software(消灭软件)”的口号,当时亦没有人相信。

“未来是什么?未来不是现实,未来只是潜在的现实;只有我们直面它、相信它,并为之奋斗,它才可能成为现实。”2014年之后,盖国强和公司决定,把所有的收入,投入到面向云时代的产品研发中。创始团队不拿钱,全部砸到研发中。

新的行动,需要从无到有建立研发团队,把所有的钱投入到未知的产品研发上去。

幸运的是,盖国强的创始团队竟然没有分歧,甚至有核心成员表达了更加激进向云转型的想法。

这种高度的一致,源自创世团队的五位成员,都曾是盖国强成立的技术社区中的网友。当初的技术社区主题是Oracle商用数据库,今天几位网友又一起携手转型。

但并不是没有困难。

盖国强回忆,那时需要大量投资,风险很大。

“如果做产品,进入到你们不熟悉的领域。你是阿里还是腾讯,哪有技术底气?你们的经验哪里来?你们的创意来自哪?你们有研发团队?”客户不断质疑。

团队甚至走过了一段弯路。

一个产品的转型先锋队,一年人工成本就要三五百万。一开始两年的时间,没有取得太大的成绩,上千万投入就打了水漂。

转型后的公司逐渐形成了六大产品。结果和当初的设想是否完全一样,已不重要,难得的是坚持下来了。

盖国强的公司通过靠人力输出服务,进化到输出产品,云化产品。从围绕私有化场景提供服务,逐渐演进到兼顾公有云服务。

科技创业很残酷,有时候往往行业只认前三名,你必须有足够的前瞻、人才和产品,还要转化为客户认同的价值。

盖国强最早意识到要转型,作为技术分享者,在各种公开场合,他毫不吝啬的分享自己的观点。这甚至让他们前瞻性的产品在同期产生了更多的竞争者。

他的逻辑是:我做的不好,愿意被淘汰,我做的好自然有回报,竞争者让我加速进步。“说白了,不自己革命,被别人革命更惨”,盖国强说道。

进化不是从石头缝「蹦」出来的

王坚曾多次说:“‘去IOE’最难的就在于人。每一次的技术转换,我们都是在革自己的命。如果没有同事们当时敢于尝试的勇气,阿里的技术难题都可能扛不过去。”

可以理解,一个学了大半辈子Oracle的程序员,突然要学习开源数据库、云数据库,意味着一切要重新开始。

以前盖国强写了很多本关于Oracle的书,那些书在豆瓣上早期评分接近8分。但这几年,这些书翻阅的人变少了。

天变了。

可能盖国强足够聪明,除了自己转型,他当时带着公司的DBA们开始转型。

“我从来没有把过去的成绩,看成一个负担或者标签。在IT的技术领域,是不断成长快速向前的。”

“靠人的交付有差异,靠产品就不会。”

“但从商业数据库,到云端原生数据库技术,我并不认为这会带来什么挑战。挑战是在心里。”

过去十年,是科技行业进化的黄金十年,但DBA这个群体并没有想象中进步地快。

20年前DBA做的是数据库的安装、备份、巡检;20年后做的事情还是这些。但实际上,今天的云数据库已经可以把基础的工作用新的形式替代掉。DBA从业人员可以从琐碎的工作中脱身,演进为数据架构师、数据分析师、算法工程师。

回到开篇提到的呼兰和盖国强的对话。呼兰认为:从传统商用数据库到云原生数据库,对于程序员来说,就像是开的车,从燃油车升级成电动车。数据库本身的核心优化、事务处理、SQL的交互是没有大的变化。但云上原生数据库标准、语法、生态一致且好用,技术上不担心被锁死。这和传统商用数据库有本质区别。

30万“程序猿”的未来简史:去O,上云

极客脱口秀演员 呼兰

5G和IOT时代来临,也称作AIOT。这将给行业带来进一步的变化,数据更加复杂化,数据向流的方式转变。云端边一体,对于IOT数据的处理产生新的挑战。

云原生数据库不是从石头缝子“蹦”出来,是过去四十年间,数据库的积累之上产生的,云数据库更多是从开源发展起来的。数据库的理论和原理没有被颠覆,本质相通。DBA进入到云数据库领域,难度并没有那么高,只要完成思想的转变,转变过程是非常快的,难的是心理上的畏惧感。

“因为人天然担忧和畏惧新的挑战”,盖国强说。

从传统商用、开源到云原生数据库,真正改变的是,资源的使用方式。云其实是提供新的算力,可以弹性伸缩即时获取。

企业更喜欢买固定资产,对软件资产认知不足。放弃固定资产采购转为云上采购,把可以管理的数据资源搬到云上,又是一个巨大的挑战。“挑战人性,人对于变化的畏惧。”

“在IT这个世界里,你学习的慢就是退步。别人是百米冲刺,你慢悠悠就会被淘汰。如果我们跑在行业后面,就帮助不了用户。”

“我们要解放人,不做搬砖的苦力活,‘革命’才有能力做更有价值的事情”,盖国强认为,并不是技术革了你的命,而是不进步的技术会革掉你的命。

搞技术的人,从入行到专家,三年时间可以掌握一个新技能。一种风潮的形成,从造势到成为趋势,大约就是三年。

三年前,认识到开源数据库、云原生数据库是未来,盖国强要求公司所有人学习数据产品掌握技能,“大家最开始是抵触的”。

到了今年,他已经不再要求了。叫他“师祖”的年轻人们反而觉得,如果你不让我学习PolarDB (阿里云自主研发的新一代云原生数据库)是在阻碍我的前途,你是不是对我有意见?

未来简史,数据库生态加速

数据库经过几个发展阶段,分分合合。

如今,加上开源数据库、云上数据库,数据库行业再次进入到群雄争霸的阶段。

在传统数据库时代,DBA的生活状态一般是熬夜加班,每一套数据库的脚本和演练,实施、测试,至少要做半年。每一个“五一”、“春节”等假日,7*24小时工作,一旦出现问题,赶去救火。

DBA为什么要过这样的生活?如果有一种新的技术可以将升级迁移变成自动的,不需要熬夜加班搞测试,将省下来的时间用于学习,为什么要揪着过去的苦日子不放?

DBA这个群体是保护数据库的,国产数据库、开源数据库在实践中要靠DBA,整个生态的推动。DBA可以自信地认为,自己是云厂商之争中最炙手可热的香饽饽。

第一次听说PolarDB公测后,猿辅导产品技术总监张文治就觉得,这个产品的分布式特点,可能会适合于集中学习考试这样的场景。猿辅导运营在线模拟测试已经颇有心得,疫情期间,这个能力被老师、学生认可,在此之前,数据库运维团队和阿里云团队一起,在2天左右时间,就完成了数据库的扩容。

张文治认为,新型云原生数据库,近几年确实可以让数据团队更专注于业务,团队不断扩大,在公司也获得更大认同,但是,也要同时注意云原生数据库和开源数据库的差异,这样在问题追查中,更游刃有余。

几年间,阿里云还研制了DTS、ADAM、DAS等一整套帮助数据迁移和自动运维的工具包。即便从Oracle数据库迁移,往往也只需要修改5%不到的代码量,另外,云原生数据仓库AnalyticDB也可以很好的解决各类数据分析场景的调整。

从传统数据库到云数据库,技术的转变是实实在在的,但不是暴风雨的前夜,海鸥搏击暴风雨,而是春雨随风潜入夜。

数据库看似古老的领域,在IT界已经有40年历史的数据库,就像这个领域的恐龙。但这个'恐龙'却不会灭亡,只是会向新的方向转型进化。

DBA是否会觉得在云计算时代,自己不再重要?被抛弃?

事实上,恰恰相反。在数据库从业人员行业里,有一句话:数据库最后一公里,得DBA者得未来。

阿里云数据库负责人李飞飞则说,“得生态者得未来”。

[免责声明]

资讯标题: 30万“程序猿”的未来简史:去O,上云

资讯来源: 36氪官网

36氪企服点评

新锐产品推荐

消息通知
咨询入驻
商务合作