首页云计算 正文

hadoop的三大组件有什么?

2024-12-03 5 0条评论

hadoop三大组件:

1、HDFS

一个高可靠、高吞吐量的分布式文件系统

存储海量数据

分布式

安全性

副本数据

数据是以block的方式进行存储的,128M

比如:200M—128M 72M

2、MapReduce

一个分布式的离线并行计算框架

对海量数据的处理

分布式

思想:

分而治之

大数据集分为小的数据集

每个数据集进行逻辑业务处理(map)

合并统计数据结果(reduce)

3、Yarn

分布式资源管理框架

管理整个集群的资源(内存、CPU核数)

分配调度集群的资源

文章版权及转载声明

本文作者:admin 网址:http://news.edns.com/post/170899.html 发布于 2024-12-03
文章转载或复制请以超链接形式并注明出处。

取消
微信二维码
微信二维码
支付宝二维码