谈到数据采集,我们首先想到的问题自然是,从哪里采集?也就是说,我们的采集点是什么?当前的大数据时代,数据来采集来源往往具有高度的多样性,而不同的数据源也常常需要不同的采集方法,才能有针对性地采集。接下来小编为大家介绍介绍收集数据的方式有哪些。
收集数据的方式有哪些
公司内数据主要是指公司自营产生的数据。可以是公司各业务线业务运营产生的业务数据,也可以是公司经营类数据。业务数据可分为实体数据、交易数据和行为数据。经营类数据可分为收入、成本、费用等。
从技术上可分为:1)直连系统DB采集;2)系统接口采集;3)系统日志采集;或者分为离线数据采集和实时数据采集。
公共数据主要是指政府在行政执法过程中产生的信息,比如行政许可、法院诉讼等这些活动所带来的信息。
公共数据一般由数据服务机构通过数据服务平台,通过查询UI或访问接口,向大众开放。查询UI一般会配备动态校验码技术,访问接口一般会配备限流技术避免平台超负荷运转宕机。
第三方数据指在公司与其他企业合作获得的数据。比如自己公司有技术别的公司有数据,或者自己与对方公司各有不同细分市场数据,双方合作能形成战略上的互补。
不管采用何种收集数据的方法,除采用自动采集技术外,还经常辅助人工采集。例如对于频率不高的采集场景,人工采集后可以通过邮件、ftp、网盘或上传网站等方式传送。以上就是收集数据的方式有哪些的全部内容了,希望能够帮到大家。
[免责声明]
文章标题: 收集数据的方式有哪些
文章内容为网站编辑整理发布,仅供学习与参考,不代表本网站赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请及时沟通。发送邮件至36dianping@36kr.com,我们会在3个工作日内处理。