百度“飞桨”是怎么成为世界第三的?
国内人工智能产业市场在2021年开始迎来了大爆发。
无论是萝卜快跑的自动驾驶出租车,还是智能识图、语音识别与输入、影音剪辑等方面,层出不穷的人工智能技术极大的提升了人们生活的便利性和科技感。
庞大的市场需求也助力了很多冲击资本市场的大型科技企业。AI四小龙里商汤上市和剩余几家纷纷冲击IPO就是一个重要的佐证。
2021年人工智能领域的算法分析师、程序员、工程师,已经成为最新互联网就业市场上抢手的香饽饽。尤其是人工智能规划和算法的精通者,在其中占有更大的优势。
更有意思的是,曾几何时几乎全部做人工智能开发的程序员、工程师和算法分析师,用的深度学习框架都来自美国。TensorFlow、PyTorch虽然是开源项目,但都在美国公司掌控之下,不确定性如影随形 。
迫切需要替代品的背景下,已经历经6年开发并逐渐成熟的百度飞桨,成为越来越多中国人工智能开发工程师和算法分析师的优选。
百度也借此举办了多期人工智能规划师的培训,试图利用自己的经验为中国人工智能领域提供高水平的人才储备。
伴随着应用飞桨项目和产业端结合的越来越频繁紧密,截至目前,飞桨所拥有的工业产业模型超过300个,已逐渐成为一个非常易于开发的通用性人工智能深度学习平台。
最新信息,在2021年年底,飞桨已经超越其他竞争对手,稳居两个老牌深度学习框架之后,成为全球第三大深度学习框架平台。
#01
深度学习平台的能力
因此2015年之前,世界人工智能领域的项目进度比较慢。毕竟熟练的工程师和程序员就这些,后续的人员,想进入这个领域还需要进行长时间的学习。
这为深度学习框架的出现提供了强大的需求和促动力。
当时,美国谷歌公司和另一个从谷歌出来的资深程序员,提出了两个深度学习的开发平台与框架。这就是当前使用人数最多的ensorFlow和PyTorch。
人工智能最早的应用其实是在数据标注,也就是穷举的方式列举所有遇到问题时机器应该产生的反应,但这并不是真正的人工智能或者说应该算伪人工智能。从谷歌2016年推出超级人工智能阿尔法狗之后,深度学习成为很多人工智能公司追求的系统技术基础。而阿尔法狗的底层框架,正是建立在TensorFlow的平台之上。
很快,TensorFlow、PyTorch这两个新生的深度学习开发平台框架迅速在业内走红,成为后续各个创业项目技术积累的基础。
所谓深度学习框架,其实就是首先提供一个深度学习的内部系统,可以符合多种行业的应用能通过各种不同的接口调取这种学习能力,从而让新开发的项目迅速通过数据的积累训练系统,学会如何人工思考和应对。这样的好处就是整个项目不用再对深度学习进行算法和布局,更不用从理论基础去做相应的研发,可以大大降低人工智能项目研发的难度。
其次,这些深度学习框架还提供了调取相应深度学习结果和培训系统能力的程序语言,并封装了很多常用的模块,后续开发者只需调用这些模块就可以实现一些系统常用的功能,比如说对于图片和音频的识别等。
此外,这些深度学习框架还提供额外的扩展与延伸,可以跟其他的一些系统相衔接,把人工智能的相应能力接触到更大的系统中去。
从2017年之后,国内大大小小的人工智能应用,绝大多数都是基于这两个框架平台所提供的各种服务和封装模块进行,虽然大大降低了开发人员的难度,但很大程度上也将技术核心的支持能力拱手相让。
正是看到这一点,2016年百度提出来中国人自己的深度学习框架PaddlePaddle。但说实话彼时百度的这一框架并没有显露出太多技术优势,在国内被使用的频次也不算太高。
即便如此,对于百度一把手李彦宏而言,AI是百度未来发展的突破口,所以深度学习框架这块也必须得到百度整个技术部门的大力扶持。
2018 年 7 月,李彦宏在百度 AI 开发者大会上喊出了要让“Everyone Can AI”的口号,其实这句口号后面还要加上一个限定——“通过百度的 AI 平台”。PaddlePaddle 就是这一口号付诸实践的突破点之一。
#02
飞桨的特色
实际上,飞桨以百度多年的深度学习技术研究和业务应用为基础,集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体,是中国首个自主研发、功能完备、开源开放的产业级深度学习平台。
关键从2015年之后,百度将自己业务突破的能力定立到了人工智能上,而几乎百度现在所有的人工智能项目全都是基于飞桨的整个体系研发,并最终投入使用和做后期维护的。
某种意义上正是基于百度本身体量的大范围应用,才迅速缩短了飞桨的成熟时间。
作为我国首个开源开放、功能完备的产业级深度学习平台,飞桨想要保持自己的地位,也必须要有自己独特的优势。
第一,便捷的开发框架。飞桨同时支持动态图和静态图的编程,能够兼顾易用性和效率。在整个开发过程当中,算法工程师既需要方便的接口,同时也需要高效的底层平台的支持。飞桨平台结合了动态图的易用性和静态图的高性能,使开发者可以兼顾两者的优势。对开发者来说,这是大大降低了写程序的成本和复杂度。
第二,超大规模深度学习模型训练技术。针对大规模的工业化场景,飞桨提供大规模分布式训练能力,在真正的工业场景应对自如。飞桨平台推出了支持万亿规模参数模型的实时更新能力和训练能力。面对大型分类任务时可以进行模型并行训练,在训练层面也可以支持数据并行训练。
第三,多端多平台部署的高性能推理引擎。端到端的部署是应用深度学习的一个非常关键的环节,飞桨提供非常完备的支持各种硬件的端到端的部署能力,能够使得开发者推理、预测的过程足够顺畅。在移动端部署的模型体积上,飞桨可以缩减到非常小,众多开发者可以更好地把模型用在相应场景的终端设备上。
第四,产业级开源模型库。飞桨有大量在产业实践当中沉淀出来的模型,并提供官方的支持,能够保证开发者的应用效果是最佳的、真正可靠的。据悉,飞桨平台上目前开源了140+的模型,而且还有工业级的预训练模型。在预训练模型基础上,开发者在使用时只要针对自己的场景进行小数据量的迁移学习就可以使用。
#03
需求决定一切
以上这些特性,实际上只是跟海外的开源平台打成个平手。真正能让飞桨成为杀手级人工智能深度学习拓展平台的原因,是其跟中国市场的深度捆绑。
由于百度所有的技术扎根于中国市场本土需求,相应的算法标准,基础能力、深度学习的习惯等等,都跟中国市场和相应数据采集的情况相吻合。
如果采用国际上知名的其他开源平台来研发项目,在最终项目调整的过程中,还要付出很大的精力,要将很多不符合国内环境的算法和思路进行调整,这对于人工智能的策划师和算法分析师来说都是一个重大的挑战。
但使用飞桨就不用做这些事,可以省很大的工作量。
从2019年开始,百度AI的能力逐渐下沉,开始跟产业经济和生产一线相结合,在飞桨上也越来越多有类似的人工智能项目运行,比如智能质检,比如对于农产品的智能分拣等等。
这些与产业相结合的人工智能应用模型,飞桨已经积累了超过1000个。由于这些模型最终都成功运营,所以类似需求的开发者只要将这些模型针对自己的一些特征进行修改调试,就可以在短时间内拿出一个成型的人工智能解决方案和项目实施计划。
再加上百度本身所推出的人工智能应用,就已经覆盖了中国互联网的大多数使用空间。丰富的人工智能基础模块,可以让程序员和工程师快速部署形成自己的人工智能软件应用。
这大大方便了人工智能项目在中国产业端的拓展,也成为飞桨迅速在中国人工智能研发领域成为主流平台的重要原因。
截止目前在飞桨平台上,经常使用相应模块进行人工智能开发的程序员和工程师超过400万。
#04
摆在前面的挑战
当然,飞桨并不是不是一个完美的框架和平台。知乎上在飞桨专区有很多程序员吐槽,大多是有关应用端以开发的过程中,调取模块遇到的各种bug问题。
而由于整套系统的逻辑都是百度自己建立的,并没有前面的经验可以遵循,这也让很多新的模块出来,需要带有一段时间的纠错期。这对争分夺秒的人工智能开发领域来说,是一种时间上的浪费。
因此有程序员提出,能不能作为开源程序员加入其中,为飞桨目前的不断完善,提供自己的思路和帮助。
另外,由于百度发展的局限性,使得飞桨在海外的应用受限。如何将飞桨推到国际市场,恐怕是百度在2022年一定要认真考虑的重要问题。
毕竟,百度是将AI作为未来发展的基石,而飞桨被看作是百度AI的核心,那么李彦宏对于百度转型的定位,在国内和国际都需要飞桨为支撑的AI故事。
百度也已经认识到这一点,2021年开始举办人工智能规划师的培训,并开始逐渐国际化发展,目的很明确。
但一切还需要时间,而现在已经到了百米赛跑的关键冲刺期。
虽然百度有底气,但时间上得要抓紧了。
本文来自微信公众号“数科社”(ID:gh_a04771c227f9),36氪经授权发布。