热门文章> hadoop三大组件 >

hadoop三大组件

36氪企服点评小编
2022-01-13 14:07
6099次阅读

Hadoop的三大组件分别是:分布式存储系统 HDFS,提供了高可靠性、高扩展性和高吞吐率的数据存储服务;分布式计算框架 MapReduce,具有易于编程、高容错性和高扩展性等优点;分布式资源管理框架 YARN,负责集群资源的管理和调度。

hadoop三大组件hadoop三大组件

1、分布式存储系统 HDFS(Hadoop Distributed File System)。

提供了高可靠性、高扩展性和高吞吐率的数据存储服务。

一个高可靠、高吞吐量的分布式文件系统,存储海量数据、分布式、安全性、副本数据、数据是以block的方式进行存储的,128M。

比如:200M—128M 72M。

2、分布式计算框架 MapReduce。

具有易于编程、高容错性和高扩展性等优点。

一个分布式的离线并行计算框架、对海量数据的处理、分布式。

思想:分而治之、大数据集分为小的数据集。每个数据集进行逻辑业务处理(map),合并统计数据结果(reduce)。

3、分布式资源管理框架 YARN(Yet Another Resource Management)。

负责集群资源的管理和调度。

分布式资源管理框架,管理整个集群的资源(内存、CPU核数),分配调度集群的资源。

[免责声明]

文章标题: hadoop三大组件

文章内容为网站编辑整理发布,仅供学习与参考,不代表本网站赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请及时沟通。发送邮件至36dianping@36kr.com,我们会在3个工作日内处理。

消息通知
咨询入驻
商务合作