大数据处理

常见问题

• 大数据是什么意思?

  从一般意义上讲，大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。“大数据”概念最早由维克托·迈尔·舍恩伯格和肯尼斯·库克耶在编写《大数据时代》中提出，指不用随机分析法（抽样调查）的捷径，而是采用所有数据进行分析处理。
  大数据的特征

• 大数据的特征

  大数据具备 Volume、Velocity、Variety 和 Value 四个特征，简称“4V”，即数据体量巨大、数据速度快、数据类型繁多和数据价值密度低。
  1、Volume：表示大数据的数据体量巨大
  数据集合的规模不断扩大，已经从 GB 级增加到 TB 级再增加到 PB 级，近年来，数据量甚至开始以 EB 和 ZB 来计数。
  2、Velocity：表示大数据的数据产生、处理和分析的速度在持续加快
  加速的原因是数据创建的实时性特点，以及将流数据结合到业务流程和决策过程中的需求。数据处理速度快，处理模式已经开始从批处理转向流处理。
  3、Variety：表示大数据的数据类型繁多
  传统 IT 产业产生和处理的数据类型较为单一，大部分是结构化数据。随着传感器、智能设备、社交网络、物联网、移动计算、在线广告等新的渠道和技术不断涌现，产生的数据类型无以计数。
  4、Value：表示大数据的数据价值密度低
  大数据由于体量不断加大，单位数据的价值密 度在不断降低，然而数据的整体价值在提高。以监控视频为例，在一小时的视频中，有用的数据可能仅仅只有一两秒，但是却会非常重要。现在许多专家已经将大数据等同于黄金和石油，这表示大数据当中蕴含了无限的商业价值。

• 大数据未来发展趋势

  随着市场整体的日渐成熟和新兴技术的不断融合发展，未来大数据市场将呈现稳步发展的态势，增速维持在 14%左右。
  在未来5G技术的加持下，大数据正引来越来越多的关注，未来科技发达，信息流通，大数据就是这个高科技时代的产物。阿里巴巴创办人马云曾多次在演讲中提到，未来的时代将不是IT时代，而是DT的时代，大数据对当代社会发展举足轻重的影响显而易见，其就业前景更加不可估量。

• 大数据分析平台有哪些？

  1、领英
  领英人才解决方案于2014年落地中国，在本地化发展上已经获得诸多成果。 针对中国客户的需求，中国团队提供全面、定制化的服务。针对中国客户对工作效率要求非常高的特点，领英中国设立了专门的2B 客户虚拟电话。此外，领英为中国客户提供线上和线下培训，向企业提供定制化一对一培训，让更多客户分享交流经验，提升中国客户使用能效。领英人才解决方案中国团队每年发布数份重磅数据报告，为企业提供人才趋势和行业劳动力洞察，领英行业大数据报告已被浏览超过10万次。
  2、元年智答
  元年智答是一款智能数据分析“助手”，拉近人与数据的距离，轻松对话的形式获取数据可视化图表，在企业内部高效传递数据洞见。提供对话式数据分析、智能数据可视化引擎、企业级数据权限控制、异常监控实时预警、数据变动归因溯源和智能化数据报告功能。
  3、先胜业财
  先胜业财是一家专注于业务-财务一体化领域的数据智能服务商。取义于孙子兵法“先胜而后战”，先胜业财以提升企业决策力和执行力为使命，致力于利用领先的数据智能洞察能力，为企业构建透明、快速、动态、智能的业财一体化专业能力。
  4、百度智能云
  百度智能云于2015年正式对外开放运营，是基于百度多年技术沉淀打造的智能云计算品牌，致力于为客户提供全球领先的人工智能、大数据和云计算服务。凭借先进的技术和丰富的解决方案，全面赋能各行业，加速产业智能化。
  5、米印盒子
  深圳市云宝腾达科技有限公司深耕电子发票、智能打印多年，拥有在物联网、云计算、智能硬件、等领域的资深技术人才多名，公司主营专注于电子发票服务领域。提供基于大数据云计算的智能在线式服务，旨在让广大企事业单位的电子发票报销工作更精确更高效的完成，米印盒子®是隶属于公司的注册商标。为客户提供高品质、高附加值的专业化在线服务。

• 大数据技术有哪些?

  1.分析预测技巧
  那是大数据的一个主要功能。通过对大数据源的分析，预测分析使企业能够发现、评估、优化和部署预测模型，从而改善业务业绩或减少风险。而对大数据进行预测分析，则与我们的生活息息相关。淘宝网会预测你每一次购物都可能要买的东西，爱奇艺正在预测你想看的东西，百合网和其他约会网站甚至尝试预测你会爱上谁…
  2.NoSQL数据库
  NoSQL,NotOnlySQL，意思是“不只是SQL”，而是非关系型数据库。与关系数据库相比，NoSQL数据库提供了一种更加灵活、可扩展、廉价的选择，从而打破了传统数据库市场一统天下的格局。同时，NoSQL数据库可以更好地满足大型应用程序的需求。通用NoSQL数据库有HBase、Redis、MongoDB、Couchbase、LevelDB等。
  3.搜索和知识发现
  对从多个数据源(如文件系统、数据库、流程、api和其他平台和应用程序)中自助提取信息的各种工具和技术提供支持。比如，数据挖掘技术和各种大数据平台。
  4.大数据流计算引擎
  框架能够过滤、聚合、丰富和分析来自多个完全不同的活动数据源的高吞吐量数据，并且可以使用任何数据格式。SparkStreaming和Flink是当今流行的流式计算引擎。
  5.记忆数据结构
  采用分布式计算机系统中动态随机存取存储器(DRAM)、闪存或SSD分配数据，实现了低延迟存取和大量数据处理。
  6.分布式文件存储
  为确保文件的可靠性和访问性能，数据经常以拷贝的方式存储在多个节点的计算机网络中。通用分布式文件系统有GFS、HDFS、Lustre、Ceph等。
  7.数据虚拟化
  DataVirtualization是一种数据管理方法，它使应用程序能够在无需考虑数据的技术细节的情况下检索和操纵数据，例如源文件中的数据格式，或者数据存储的物理位置，以及一个客户用户视图。
  8.数据整合
  诸如AmazonElasticMapReduce(EMR)、ApacheHive、ApachePig、ApacheSpark、MapReduce、Couchbase、Hadoop和MongoDB等等，用于跨解决方案进行数据编排的工具。
  9.编制资料
  软件减少了获取、形成、清理和共享各种混乱数据集的负担，从而加快数据对分析的有效性。
  10.数据质量
  利用分布式数据存储和数据库中的并行操作，对大型高速数据集进行数据清理和充实。

• 大数据应用在哪些方面?

  一、广告行业
  比如你最近想买一个商品，然后在百度、京东或淘宝中搜索了某个关键字，其实这些行为数据都被收集起来了，因为有很多人的行为数据，所有后台要进行大量的数据分析，构建用户画像和使用一些推荐算法，然后进行个性化的推荐，当你登录到一些网站上时，你会发现有一些广告，推荐的一些正好是你要买的一些商品。
  二、内容推荐
  比如你刷今日头条，头条会收集你以前的浏览行为数据，然后根据你的喜好构建一个你专属的用户画像或一类人的画像，然后给你推荐你喜欢的新闻，比如你以前点击过詹姆斯相关的新闻，就给你推荐NAB相关的新闻。由于头条用户很多，要分析的数据量就非常大，所有要使用大数据的手段来处理。
  三、餐饮行业
  快餐业的视频分析。该公司通过视频分析等候队列的长度，然后自动变化电子菜单显示的内容。如果队列较长，则显示可以快速供给的食物；如果队列较短，则显示那些利润较高但准备时间相对长的食品。
  四、教育领域应用
  百度大脑PK人脑：大数据押高考作文题。为了帮助考生更好地备考，百度高考作文预测通过对过去八年高考作文题及作文范文、海量年度搜索风云热词、历年新闻热点等原始数据与实时更新的“活数据”进行深度挖掘分析，以“概率主题模型”模拟人脑思考，反向推导出作文主题及关联词汇，为考生预测出高考作文的命题方向。
  五、医疗领域
  智慧淮医。淮安市采用IBM大型主机作为淮安市区域卫生信息平台基础架构支撑，满足了淮安市在市级区域卫生信息平台基础平台建设和居民健康档案信息系统建设进程中的需求，支撑淮安市级数据中心、居民健康档案数据库等一系列淮安市卫生信息化应用，支持淮安成为全国“智慧医疗”的典范。
  六、农牧大数据
  大数据在农业应用主要是指依据未来商业需求的预测来进行农牧产品生产，降低菜贱伤农的概率。同时大数据的分析将会更见精确预测未来的天气气候，帮助农牧民做好自然灾害的预防工作。大数据同时也会帮助农民依据消费者消费习惯决定来增加哪些品种的种植，减少哪些品种农作物的生产，提高单位种植面积的产值，同时有助于快速销售农产品，完成资金回流。牧民可以通过大数据分析来安排放牧范围，有效利用牧场。渔民可以利用大数据安排休渔期、定位捕鱼范围等。