品牌名称
OPPO
企业规模
1001-5000人
OPPO-个性化推荐
268次阅读
一、项目背景:
OPPO自2018年起开始大举进军互联网业务,创立了信息流、信息流广告、应用商店、游戏中心、商业中心等诸多业务线,并迅速积累了大量的用户和数据。由于业务规模的急剧扩张, OPPO 原来在单机上搭建的训练系统不具备处理大规模数据和训练大型推荐系统的能力,严重制约了互联网的业务发展,急需更好的框架体系来满足业务方对于模型训练速度、效果指标增长的需求。
二、应用方案:
基于飞桨的能力对应用商店进行了升级:采取高性能数据读取接口Dataset完成大规模数据的读取;采用基于参数服务器的大规模CPU分布式的全异步训练模型,以较低的资源消耗来训练海量的数据以及极大的稀疏参数。
三、应用效果:
性能强:全异步大规模训练集群规模,业务模型训练速度提升效果显著;
参数规模大:Embedding规模&模型扩大数倍;
效果好:在多个场景(广告,信息流等),线上关键指标提升效果显著;
性价比高:参数服务器训练,大幅度减少内存开销。