神策数据

伴随着大数据计算能力的软硬件环境成熟，国内大部分企业的数据意识在逐渐提升，寄希望于数据高效应用，基于数据驱动的力量推动决策落地。在这个过程中，数据采集作为数据应用的起点，其重要性不言而喻。目前，神策已开源 40+ SDK，并支持多种埋点采集方案，如代码埋点、全埋点和可视化全埋点。 可视化全埋点，即无需通过技术人员进行代码埋点，可直接采用可视化的方式定义一些特定事件属性进行埋点，从而辅助分析。可视化全埋点可以直接在网页或移动 App 的真实页面上圈选，相较于其他埋点方案更贴近业务场景，便于业务人员自主埋点，很大程度上降低了技术门槛。 神策数据提供的可视化全埋点解决方案，支持多种环境和框架，包含设备横屏、配对码连接、内嵌 H5、mPaaS 和 React Native 框架；同时，针对跨平台、跨版本、多入口提供事件合并分析功能。随着数据采集方案逐步迈向场景化、行业化、智能化，神策数据秉承“为客户带来价值”的理念，升级迭代出 App 可视化全埋点 2.0 版本，正式支持可视化全埋点自定义属性功能，解决传统可视化全埋点无法采集像商品标题、商品价格、点赞视频名称等和业务相关数据的痛点，在原有的数据采集方案上增强精细化数据采集能力。神策数据 App 可视化全埋点 2.0 可以将电脑与手机画面同步，增强定义事件的能力，具体如下： （1）定义多种类型的控件，支持根据其在 ListView 中的位置和内容进行筛选； （2）在电脑端便捷操作，右侧界面动态展示当前元素的准确定义； （3）支持多种设备：手机、平板电脑、车机、机顶盒。

神策数据接入有以下步骤: 1.生成数据 在神策分析数据接入过程中，每条数据（包括任何事件行为和用户属性数据）都是一个符合数据格式的Json。 当希望一次发送多条数据时，可以构造一个Json数组，每个元素是一个完整的Json。 建议一次最多不超过50条数据； 仅发送一条可以使用长度为1的Json数组。 2.编码 本步骤主要是将1.生成数据中的Json或Json数组进行编码。 3.发送数据 即将编码后的数据发送到神策分析接收数据的API。 4.其他 （1）如果没有特殊情况，不建议自己实现上面的接入流程，而是使用SDK或工具的方式接入数据。 （2）神策分析是异步处理接收的数据，所以发送完成后需要等待片刻才能查询到。

神策数据成立于 2015 年，是一家大数据分析和营销科技服务提供商，主要为客户提供深度用户行为分析平台，以及专业的咨询服务和行业解决方案。立足于大数据及用户行为分析的技术与前沿实践，神策数据已服务证券、银行、保险、品牌零售、电商、在线教育、游戏等 30 多个细分行业 1500+ 付费企业，连续三年的业绩年均增长率超过 100%，续费率近 100%。 神策数据总部在北京，并在上海、深圳、合肥、武汉、成都、台北等地均拥有本地化的服务团队，覆盖全国及东南亚市场，同时，公司拥有专业的服务团队，为客户全面提供指标梳理、数据模型搭建等专业的咨询、实施和技术支持服务，并提供一对一客户服务。公司在大数据领域积累多项核心技术，包括海量数据采集、存储、清洗、分析挖掘、可视化、安全与隐私保护等。 2020 年，神策分析引擎 2.0 面市，再刷新行业标准，现支持 14 种灵活的数据分析模型，事件分析查询速度同比提升 2.4 倍，每日帮客户结构化用户行为数据超过 2000 亿条，超过 5 万活跃用户使用神策驱动业务增长。

简单介绍几种不同的数据导入方式： FormatImporter：Python3运行环境即可，灵活，只要装了python3就能运行；可以作为格式转换器使用，不作为导入工具使用，节省了数据清洗的工作； BatchImporter：运行在部署神策系统的服务器上，可以用于单机版和集群版，无法在云版上使用，导入速度较FormatImporter和LogAgent要快 HdfsImporter：运行在部署神策系统的服务器上，只能用于集群版，导入速度最快，数据直接进入HDFS； LogAgent：一般用在客户的业务服务器或生产日志服务器，实时、不重不丢，有进度管理、断点续传，可以读取同一个文件新追加的内容； Fliebeat+Logstash：一般用在客户的业务服务器或生产日志服务器，支持容器化部署，Fliebeat+Logstash成熟的开源工具组合，配置丰富，可以接收多种输入，针对文件型输入，一个组件可同时采集多个目录下的日志，filebeat相比LogAgent更轻，并且与服务端之间无耦合；

神策是以用户行为数据为基础，结合业务数据等多种数据源，通常包含标签的生产能力和用户洞察、分析能力。在用户流量获取难度不断攀升的情况下，如何对存量用户进行精细化运营成为降本增效的关键，即洞察用户的细节，根据用户画像驱动业务决策。 当前大数据风行时代，每个企业都渴望能为用户画像，但并非每个企业都能用好用户画像。目前神策数据在30多个行业中拥有1500多家企业，涵盖品牌零售、保险、证券、银行、融合传媒、汽车、商务服务、游戏、网络教育等。

神策数据是一家专业做大数据解决方案的公司，其核心价值是帮助企业实现数据驱动，通过专业的数据产品，帮助企业中的业务人员提高数据分析的能力。数据分析师的工作，首先是对某一行业的数据分析，知道这个行业需要分析什么数据，帮助企业中的所有业务人员提高数据分析的能力，而且能够对该行业进行数据分析。 其次，还有沟通需求、设计收集方案、与研发沟通实现采集方案落地等任务，这些都有许多变数，如何与业务人员合理沟通需求，如何推动研发团队将方案落地而非一拖再拖、如何做PPT分享、如何争取话语权，让自己的数据能够说服不懂数据的业务人员等。

神策能做渠道分析，例如： 1.分析不同渠道带来的新用户数量，优化后续交付策略； 2.分析不同渠道带来的新用户的保留和转换，考察不同渠道带来的用户质量 3.分析日常销售或收入，不同渠道的贡献比例。 神策数据渠道数据分析的应用场景包括： 1.推广应用程序，网页，微信小程序。 2.跟踪访问某网页、某微信小程序的渠道来源。 3.追踪通过某个网页或链接、或第三方广告商在App内投放的广告等下载App的用户 4.将应用程序的下载地址放入某个网页，同时跟踪访问网页和下载应用程序的渠道来源。 5.统计不同渠道每天新增用户数量；查看不同渠道新增用户转化率；查看不同渠道新增用户保留率；统计不同渠道带来的用户销量；查看指定渠道激活的用户数量；查看不同渠道的注册/支付订单用户数量；查看不同渠道用户从激活到成功注册的转化率。

神策数据能日分析2000亿条以上的数据。 神策数据的数据采集方案： 1.灵活采集方法：提供编码埋点、全无埋点、可视化全埋点、随需选择、灵活组合。 2.代码埋点：支持各类开源SDK，如Java/Python/PHP，保证数据采集的大、全、细、时。 3.全埋点（无埋点）：易于集成的SDK，就可以方便地跟踪App、网页产品中用户的互动行为，方便快捷。 4.可视化全埋点：可视化方法灵活自定义全埋点，消除技术门槛，直接埋点非研发人员。

神策数据的A/B测试功能在最近一次升级后，能够提供完整的试验创建和试验分流能力，可以满足流量分层、试验互斥等高级测试需求。 以下是神策数据的A/B测试功能主要功能点与特色、优势： （1）高可用的流量分发，将多个版本展现给不同用户； （2）支持流量正交，实现同一试验层内的流量互斥，不同试验层内的流量正交，达到流量复用的目的； （3）实时生成试验数据报告； （4）能够打通神策分析的多维分析模型，数据分析更多维。

神策的产品研发团队分为数据治理、数据仓库、神策分析云、神策营销云、基础平台化、用户画像、闪电报表等不同的方向。 一、数据治理团队 数据治理是所有数据应用的基础和根基，其好坏直接影响所有数据应用是否有价值。同时，数据治理也是一个组织进行数据资产沉淀的基础，也直接决定了一个组织的数据资产能否得到有效的沉淀，以及在后续数据应用时，能否充分地发挥数据本身价值。 正因为如此，我们对于数据治理投入了很大的精力，专门成立了数据治理团队，数据治理团队对数据接入、数据源管理、数据质量、数据清洗和 ID-Mapping 方面都提供了标准的产品和解决方案。数据治理团队主要解决在不同环境下以最高的效率、最低的代价治理数据的问题 二、数仓团队 神策数据提供了多种多样的数据分析、智能营销等功能，而驱动这些功能运行在海量数据上的底层处理能力是由神策数据仓库赋予的。神策数仓是神策基础数据模型的数据仓库实现，对外提供了数据导入、查询和订阅等接口。我们的很多客户 PV 都超过百亿，所以这里每个功能都涉及海量数据的处理。 三、神策分析云团队 神策分析云团队主要解决从明细数据表到分析模型的构建，再到业务场景的抽象、指标的管理和数据可视化的全过程。在这个过程中我们打造出了用户行为分析、用户画像、广告效果分析、闪电数据报表等多款极具竞争力的数据分析和可视化类产品。 四、神策营销云团队 神策数据已经从单一产品向多产品演变。早期主要聚焦在数据的分析，现在更关注数据的应用，进而帮助客户实现基于数据流的企业运营框架 SDAF，即 Sense（感知）Decision（决策）Action（行动）Feedback（反馈），神策营销云团队在这样的背景下应运而生。 五、基础平台化团队 神策的基础平台化团队致力于解决上述类型问题，其主要工作包括兼容市面上各种不同的 Hadoop 发行版；解决全场景下的多应用多云环境的部署、升级、服务治理、监控等功能需求。 六、用户画像团队 用户画像团队主要负责用户画像平台的建设，其中包括标签体系的创建、计算、管理，用户维度的分析、报表，人群包的筛选、推送等功能。 七、闪电报表团队 闪电报表团队需要从头研发或者基于开源组件，完成各个分析模型分析结果的图表化展示，以直观便捷的方式让使用者能够与数据进行交互，方便地完成数据的钻取与筛选。