15年前的3篇论文,变成了万亿大生意
文 | Rickzhang
轮值主编 | 君莫笑值班编辑 | 玉茹
第 5786 篇深度好文:5860 字 | 12 分钟阅读
如果能再来一次,也许多伦多大学的杰弗里·辛顿教授不会在2006年,对外发布自己的那三篇关于深度学习的论文。
因为他没想到的是,仅仅一个源自实验室未被证明的设想,现在已经变成了超过数千亿美元的大生意。
尤其在中国。
根据不完全统计,中美之间每年超过2000亿的芯片进口中,这两年用于人工智能的GPU芯片占比以超过10%的增速逐年提升。
当然,这句话也可换个角度理解。
从2012年开始,深度学习技术的发现和后续应用,让语音识别准确率一年的提升比过去15年的提升总和还要多;同时,图像识别以图搜图的准确率从20%提升到了80%。
关键,这些技术在中国国内都有着全球最大的应用市场。而从智慧城市管理开始的政府需求,也助推深度学习技术在不计成本的投入下正以“光速”奔跑。
根据中国信息通信研究院数据显示,2017年中国人工智能市场规模达到217亿元,2020年已经超过700亿元,年度复合增长率大于50%。
正因此,这两年全球的AI市场热点,中国的独角兽企业都在不遗余力追逐。这样的背景下,AI在中国的发展一日千里,并越来越跟基础的学科与细节应用相结合,出现了大众化和普及化的趋势。
一、为什么AI架构师会出现?
“一般的人很难想象,AI在现在的信息系统中已经发展到了什么样的情况”,作为苏州BioX生命智能产业研究院人工智能部门经理,王建峰说,与大众对AI的认知还处在非常高端应用领域不同,当下深度学习,尤其是针对图像优化和逻辑思维的AI应用,已经广泛普及到了生产领域的各个方面。
这在中国是一个必然的发展趋势。毕竟,国家层面大力投资AI系统以及其他人工智能领域,是政府需求引爆的。
2006年前后,国内各个城市都在逐渐推进交通摄像头网络的搭建,目的是建设无人交通管理体系。
为了不漏拍,几乎是每张照片内容都会被保存。可是在运营过程中,各个城市交管部门发现,影像数量急剧增加,每年在云存储上都要进行巨额投入。
因此,地方交管部门迫切需要一个能在摄像头就进行判断的技术,让摄像头只拍违法事件。之后,又衍生出车牌识别、人脸识别等方面的应用需求。
正因为这样庞大的需求存在,才迫使中国的AI企业迅速成长,也才有了各大厂都在推动的数字城市操作系统。
王建峰说,深度学习理论引出的图像优化和识别相应的技术在城市管理方面,现在已经收获了非常好的效果、大大提升了效率;同样的技术延伸到医疗相应图片的判别上,也应该有着相应的能力。“我们的项目,实际上就是帮助医生在医学相应图片的判断上做出更好的决策。”
而正是由于AI图片处理和识别技术已经应用在很多场景,因此公司判断这种技术,延伸到医疗图像处理领域就顺理成章,这是整个公司对于这个技术研发立项的前提。
当然,这不是首次将AI技术运用于医疗图片处理和识别。
在国外,谷歌、微软都在做类似的一些技术。而国内庞大的病历,以及海量的医生对医疗图片处理需求,成为公司下决心推出这种技术的背景。
这也是医疗领域信息化需要解决的一个非常大的痛点。
毕竟传统医学中,对于CT X光等医疗图片进行研判,要依靠医生长期积累下来的经验,不仅耗人,更耗时。但通过深度学习技术,教会计算机正确的识别医疗图片所反映出的病症问题,医生在做诊断决策的时候,就有了更多二次判断审核的时间和空间。无疑,这会减少对于病人病情误判的几率。
这样看似在其他行业已经应用的AI技术,却让王建峰和他的团队遇到了大麻烦。
“我们团队当时组建的时候,拥有着接触过AI算法,甚至很有经验的一批工程师”,王建峰说,这样的情况却并没有对整个系统的研发起到促进作用,团队被很多重复的算法叠加以及逻辑梳理的工作困住了。
原因很简单。
因为不熟悉真实医疗领域的各种工作流程,整个技术团队无法站在医生的角度考虑问题,因此技术在实现过程中走了很多的弯路,而且代码越弄越复杂。
再加上之前希望能利用一套系统解决所有的问题,因此在不停地给系统增加学习的样本,但系统由于无序的知识灌输所产生的学习效果也非常不到位。
实际上,传统业务受限于数据的获取以及处理效率,训练和预估精确数据的获得依然是个难题。
后来在接触到百度AICA首席AI架构师培养计划之后,王建峰才发现当时整个团队最大的问题只是从AI技术出发去理解业务,并没有从公司整体的战略方向去重视业务的诉求和逻辑。
而在接受完培训并顺利在老师指导下完成项目研发后,王建峰认为,AI架构师现在已成为AI技术在中国发展的必然产物与关键角色。
实际上,“AI架构师”并不是AI行业的“专属”职位,更多的是在有真实应用问题和场景的公司中,将本公司面临的问题和AI技术结合起来的一种管理和技术相结合在一起的岗位。
“在AI技术落地的过程中有太多未明确的情况,都是要根据实际的业务场景构造对AI技术的需求,这需要技术领导者在熟悉AI技术和理论的同时,还要具备整体的架构能力,而不是简单的对AI生搬硬套。”
二、AI架构师的最大优势
让王建峰觉得参加百度AI架构师培养计划收获最大的,是从以往没想到的复合视角来看问题,最终另辟蹊径解决了项目在技术研发中遇到的所有问题。
“我们一开始整个项目遇到问题的原因,在经过行业专家的点评之后才发现,并不是我们技术水平上没有达到,而是公司在立项的时候对于项目的期望值有一点过高”,王建峰说,这已经成为AI技术落地过程中的一个通病。
在他看来,现在有不少人对AI还存在一定的误解,觉得AI是一个万物都可智能的程序和技术,“但任何一种AI理论和技术的落地都是有边界的。”
王建峰参与的医疗项目也不例外。“原本公司是希望做一个能涵盖大多数医疗图片处理的AI智能助手,提供给医院和医生使用,从而创造价值提升利润”,但王建峰带领团队开发过程中发现,这样给系统深度学习的材料需要海量的处理能力,也是在现有的情况下无法达到的。
“关键,参与的工程师也很累,大家费了很大的劲,但做出的系统总是不能达到预先的要求”,直到参加AICA四期的培训,“百度技术专家的话才把我点醒,我们不再追求知识的全部覆盖,而聚集在一个有边界的地域抽取关键知识,并对关键知识进行优化,以实现在关键点的知识图谱完美覆盖”。
效果立竿见影,调整思路后的结果让王建峰第一次认识到了在AI领域复合视角的强大能力。“我们针对疑难病的图片判定系统迅速就完成研发,并在实验室和对应单位的应用中取得了非常高的准确率,达到了项目开始前的预期。”
百度AI架构师培养计划不光让他了解到AI架构师是当下AI技术人才转型的必然,同时也认识到想成为AI架构师,就必须重视理解业务的诉求和逻辑。因为只有抓住业务的关键点,才能做出正确的抽象设计和技术选型。
“这次培训教会了我一个道理,切忌只从AI技术的角度出发去理解业务,一定要站在整体业务流程的高度去做大范围的逻辑分析和考虑。”
实际上,与王建峰有相同感受的人还有很多,他在百度AI首席架构师培训同期的“同学”——浙江能源集团算法工程师朱凌风就是其中一位。
百度专门开设AI首席架构师培养计划,不光让他在内的技术人才有了高度的业务视角,同时也让他们站在一个更高的角度去梳理已经存在的AI技术,并利用AI技术对企业的整个生产流程,开始有了整体掌握能力。
这点可能对于很多独立化、体系化的产业更具有应用价值。
“我们公司是能源企业,为了提升管理效率降低人工成本,AI在能源中的应用日益受到重视”,这也是朱凌风开发一整套能源企业智能维护系统的初衷。
“在没有接触过百度AI架构师培训的时候,我们更多的是关注各个AI理论应用模型以及算法”,朱凌风说,他们立项的时候还认为通过算法的开发就能完善,但其实在过程中遇到了很多困难。
“AI算法包括以前很多人完成的一些案例,跟我们所处的这个行业差距还比较大”,在朱凌风看来,技术选型上遇到的问题是他参加百度AI架构师培养计划需要解决的第一个核心需求。
“收获非常大”,在谈及这次AI架构师培训给整个项目带来的变化时候,朱凌风认为他通过此次培训增长了很多在AI领域的落地经验。
“我系统地体验了完整的AI项目从方案设计到落地执行的一个全流程,对设计并实现高效合理的AI落地方案的能力得到了提高。同时,经过与百度内部AI架构师的交流和探讨,我对业界先进的算法以及一些前沿技术有了更深入的认识,对AI技术和开发应用流程的整体掌握能力有了进一步的提升。”
他迅速应用在公司立项的智能维护系统开发过程中。
“因为这次培训把一个开发流程递进地拆解为算法的基本原理、深度学习技术栈、主流模型和网络架构,以及最后应用部署的具体流程这几个层面,训练了我的业务理解和技术抽象能力”,朱凌风第一次找准了自己所需要的技术和模型方向,并利用百度开源开放的深度学习平台——飞桨完善了整个需求。
最终,他们所研发的系统在集团真实的测试数据上得到了非常不错的效果,现在已经被运用到了日常集团设备维护中。
“AI技术是一项复杂的技术,入门难度较高、学习曲线陡峭。如果对AI技术缺少系统的掌握,在面对企业复杂的项目或者新的任务场景时必会手足无措。”作为企业的AI技术开发者,朱凌风认为最好先成为AI技术专家再进行业务的落地,结合项目实践不断迭代深入。
“因为AI是一门在应用中不断前行的科学”。
三、AI架构师培训抢手原因
百度AICA首席AI架构师培养计划到现在已经开设了四期,第五期也即将开班。迹象显示,越来越多的人愿意加入这项以应用为先的培训。
任职于一家国际知名信息公司,作为客户解决方案专家级架构师的詹宏聃,领导参与过多个人工智能相关的项目。她认为以应用为导向的培训,对于AI技术的产业化落地和实际工作有着非常明确的指导作用。
“百度首席AI架构师培养计划的亮点就在于,每个人进入培训的时候都要带着一个项目的选题,然后通过培训在老师的指导下一步一步完善这个选题,最终在培训结束的时候,要对这个选题进行答辩并实施出来”。
很多时候指导老师站在宏观视角上的一句话,就会让詹宏聃在业务与AI技术的结合上产生很多好的想法。
“工作中我很多次发现,工程师花了好多的时间去处理数据,但是训练出来的AI系统提升的效能并不是很高。以前我可能会要求工程师去改参数或者改数据试试,但百度的老师一句话给我一个非常醍醐灌顶的感受”,詹宏聃说,她以前还是太偏AI技术的角度去理解业务问题。
“老师说,如果工程师选用的算法和模型都没错,那你应该回过头去看看自己的业务逻辑有没有可以调整的地方。”
通过课上学习和课内交流,詹宏聃发现,优化业务逻辑通常可以发现调整并增加自身业务效率的地方。“神奇的是优化业务逻辑后,再回过头跑已经做的差不多的AI算法和系统,居然发现效果可以再上一个台阶。”
而在这个过程中,百度飞桨深度学习平台对詹宏聃和其他学员完成自身的项目,给予了极大的支持和便利。
詹宏聃认为,飞桨是非常适合中国企业开发AI深度学习应用的平台之一,“飞桨是源于产业实践的一个开源开放的深度学习平台,这意味着平台不光是开源,而且深耕于产业实践,就有了很多在产业端的应用案例”。
在她眼中,“飞桨提供的这些产业端应用案例,对于我们在日常工作中建立新的AI深度学习应用或者系统,有着非常到位的指导作用。”
关键,这个系统还非常好用。
“如果你看到全景图的话,就会发现无论是学习框架、模型训练、推理引擎、平台部署,以及一些模型库、开放的数据集等,都包括在飞桨里,这就意味着如果你想在深度学习领域有所建树的话,你所有的技术需求在这个平台上都能实现。”
四、如何加入AI架构师培训?
当然,参加过此次培训的学员都认为,百度首席AI架构师培养计划对于AI技术在中国的发展有着非常积极的促进作用。
在AI已经成为中国当下最火热的技术赛道的时候,企业如何在这场技术的洪流中紧跟技术趋势完成升级转型,考验的不仅仅是企业的发展视野和战略,更是考验企业技术主管对于传统业务转型的把控力。
后者其实站在技术团队角度,对于企业在AI条件下的发展更具有现实意义。
对此,在6月27日百度AICA首席AI架构师培养计划第四期毕业典礼上,百度集团副总裁、深度学习技术及应用国家工程实验室副主任吴甜表示,人工智能在和产业的结合过程中,已经逐渐走到AI工业大生产,正在经历三个阶段:AI先行者探路阶段、AI工作坊应用阶段、AI工业大生产阶段。
她认为AICA学员所在大部分企业处于第一阶段,有少数进入了第二阶段,发展到第三阶段的企业还凤毛麟角。因此,AICA和各位学员正在共同探索AI工业大生产的实现路径,可以看到未来的发展空间非常值得想象。
实际上,大多数情况下,由于业务的时间要求、成本限制、质量要求等等,企业的技术团队很难在理想状态下解决问题。如何在受到限制的情况下提升技术方案的可扩展性,使之能随着业务的变化而不断演进,这其实才是百度AI架构师,对于整个行业尤其是AI技术在企业端应用的推进,最深刻的意义。
百度AICA首席AI架构师培养计划,是百度联合深度学习技术及应用国家工程实验室共同打造,致力于为中国AI方向输送既懂AI技术又懂产业应用的复合型高端AI人才,强劲的AI“中坚力量”才是中国产业智能化变革“第一线”。
2021年6月27日,首席AI架构师培养计划四期班在京举办毕业典礼,典礼上还首次发布《AI架构师》手册。
该手册通过采访百度内部不同身份、技术典型、转型成功的AI架构师,形成23,000字的论述。通过多维度、多角度描述当代“业务+算法+架构”于一体的AI架构师转型路径,带领业界AI人才一同预见AI产业落地前瞻变量。
经过四期培训的沉淀,当前已经有近200位通过百度认证的AI架构师正深入产业,遍布工业、能源、金融、交通等数十个行业,正在利用自己学习到的知识和理论,结合AI技术服务中国基础产业的转型。
当然在这个过程中,AICA也积累了产业AI管理人才生产落地的丰富经验。
从某种意义上讲,这些具有全局视角和技术实施能力的高端技术管理人才,才是AI技术在中国落地的关键。
现在,大门已经打开。未来,就在脚下。
本文来自微信公众号 “笔记侠”(ID:Notesman),作者:Rickzhang,36氪经授权发布。