大数据技术，大数据技术是学什么的-36氪企服点评

近两年来，大数据是职场中最火热的名词，大数据给很多人的感觉是，专业，操作繁琐，属于“高大上”的技术。云计算时代，大数据人才短缺，也有人看到了大数据带来的机遇，想通过专业的训练来学习大数据，接下来就由小编为您介绍大数据技术，大数据技术是学什么的。

三棱智慧应急大数据平台

0条点评

咨询产品

免费试用

解决用户选型困难的好软件，有各维度的信息

大数据技术，大数据技术是学什么的大数据技术

一、大数据技术是什么？

大数据是国家的战略资产，被称为“21世纪的新石油”，是21世纪的“钻石矿”。McKinsey全球研究所认为大数据是“新的创新，竞争和生产力的前沿”。大数据，也叫海量数据，是指在合理的时间内，所涉及的数据数据库数量庞大到不能通过人脑甚至主流软件工具来实现检索、管理、处理和整理成更积极目的的信息。

二、大数据技术学什么

1.分析预测技巧

那是大数据的一个主要功能。通过对大数据源的分析，预测分析使企业能够发现、评估、优化和部署预测模型，从而改善业务业绩或减少风险。而对大数据进行预测分析，则与我们的生活息息相关。淘宝网会预测你每一次购物都可能要买的东西，爱奇艺正在预测你想看的东西，百合网和其他约会网站甚至尝试预测你会爱上谁…

2.NoSQL数据库

NoSQL,NotOnlySQL，意思是“不只是SQL”，而是非关系型数据库。与关系数据库相比，NoSQL数据库提供了一种更加灵活、可扩展、廉价的选择，从而打破了传统数据库市场一统天下的格局。同时，NoSQL数据库可以更好地满足大型应用程序的需求。通用NoSQL数据库有HBase、Redis、MongoDB、Couchbase、LevelDB等。

3.搜索和知识发现

对从多个数据源(如文件系统、数据库、流程、api和其他平台和应用程序)中自助提取信息的各种工具和技术提供支持。比如，数据挖掘技术和各种大数据平台。

4.大数据流计算引擎

框架能够过滤、聚合、丰富和分析来自多个完全不同的活动数据源的高吞吐量数据，并且可以使用任何数据格式。SparkStreaming和Flink是当今流行的流式计算引擎。

5.记忆数据结构

采用分布式计算机系统中动态随机存取存储器(DRAM)、闪存或SSD分配数据，实现了低延迟存取和大量数据处理。

6.分布式文件存储

为确保文件的可靠性和访问性能，数据经常以拷贝的方式存储在多个节点的计算机网络中。通用分布式文件系统有GFS、HDFS、Lustre、Ceph等。

7.数据虚拟化

DataVirtualization是一种数据管理方法，它使应用程序能够在无需考虑数据的技术细节的情况下检索和操纵数据，例如源文件中的数据格式，或者数据存储的物理位置，以及一个客户用户视图。

8.数据整合

诸如AmazonElasticMapReduce(EMR)、ApacheHive、ApachePig、ApacheSpark、MapReduce、Couchbase、Hadoop和MongoDB等等，用于跨解决方案进行数据编排的工具。