hadoop三大组件

Hadoop的三大组件分别是：分布式存储系统 HDFS，提供了高可靠性、高扩展性和高吞吐率的数据存储服务；分布式计算框架 MapReduce，具有易于编程、高容错性和高扩展性等优点；分布式资源管理框架 YARN，负责集群资源的管理和调度。

hadoop三大组件

1、分布式存储系统 HDFS（Hadoop Distributed File System）。

提供了高可靠性、高扩展性和高吞吐率的数据存储服务。

一个高可靠、高吞吐量的分布式文件系统，存储海量数据、分布式、安全性、副本数据、数据是以block的方式进行存储的，128M。

比如：200M—128M 72M。

2、分布式计算框架 MapReduce。

具有易于编程、高容错性和高扩展性等优点。

一个分布式的离线并行计算框架、对海量数据的处理、分布式。

思想：分而治之、大数据集分为小的数据集。每个数据集进行逻辑业务处理（map），合并统计数据结果（reduce）。

3、分布式资源管理框架 YARN（Yet Another Resource Management）。

负责集群资源的管理和调度。

分布式资源管理框架，管理整个集群的资源（内存、CPU核数），分配调度集群的资源。