星环合作中国联通：上下文实时处理平台

项目背景

随着大数据智能化、实时化应用需求的日益增多，联通集团需要构建统一用户上下文信息库，为场景化营销、实时推荐、智能预警和防控等应用构建基础支撑数据库，来满足相关业务部门需求。

项目需求

用户上下文信息，指移动用户的一些暂态性的场景类属性，如当前位置、最近拨打电话、最近访问网站、当前业务使用量、最近办理业务等。

应用场景需求：业务部门对大数据的多样化、智能化应用需求日益增多，诸如场景化营销、实时推荐、智能预警和防控等，皆以用户自身所处的情景和行为变化（用户上下文数据）为中心，实现个性化和智能化的消息推送等。

数据整合和价值提升需求：上下文数据库对用户实时/准实时、动态数据进行统一整合和集中存储，同时可结合用户常用静态数据，支撑实现静态分析结果+实时场景的消息触发，实现数据的充分利用和价值提升。

通用能力构建需求：打造通用的用户上下文数据开放能力，提供可配置的、与具体应用解耦的场景化通知消息，对各业务部门相关需求进行统一、规范化的支撑，改变之前为每个实时场景应用开发紧耦合数据支撑功能的现状。

实施效果

联通集团借助星环科技大数据平台及相关技术， 构建了用户上下文信息库从各类实时/准实时数据源中实时获取用户上下文信息，并对全网移动用户的动态上下文数据和用户常用静态数据进行整合存储；实现了通用的、可配置的基于上下文数据的场景化实时消息处理目标。

将异构数据源接入适配器规则，把各类数据整合后进行轻度处理，将数据中的一些非法字符、空格以及敏感信息进行适配。

1、把一部分适配后的数据以流的方式接入到kafka集群中，通过StreamingSQL接受流数据，对数据流进行降噪、清洗、关联匹配等操作，以提高数据的质量。

2、将TDH集群中的数据（上下文信息库沉淀数据），以不同角度的业务场景，封装成对外接口能力，对外提供数据查询API。向数据开放共享平台或其他平台提供业务数据查询的能力，为用户方提供数据支撑。

3、把一部分数据（不需要规整的数据）直接以流的方式汇聚到流处理集群，进行全量历史数据存储，封装成对外接口能力，对外提供数据查询API（最近30分钟数据秒级查询与全量数据的分析汇总查询）。向数据开放共享平台或其他平台提供业务数据查询的能力，为用户方提供数据支撑。

通过对用户上下文信息库对外服务接口的封装，提供对外部应用使用上下文信息库的API订阅和查询能力，同时也可以提供批量数据集的订阅能力。

通过此项目的建设和实施，实现上下文信息库的对外开放数据使用和实时场景通知消息的触达的能力的目标。