当前位置:Gxlcms > mysql > Hadoop2.2.0的新特性

Hadoop2.2.0的新特性

时间:2021-07-01 10:21:17 帮助过:31人阅读

ApacheHadoop-2.2.0 与之前的 hadoop-1.x 相比出现了一些新的特性,具体如下: 一.资源统一管理系统 YARN YARN 是 ”YetAnotherResourceNegotiator”的简称。由于 MRv1 存在扩展性,资源利用率,可靠性和只能单一框架作业的问题, apache 对 MRv1 进行改造

Apache Hadoop-2.2.0与之前的hadoop-1.x相比出现了一些新的特性,具体如下:

一.资源统一管理系统YARN

YARN ”Yet Another Resource Negotiator”的简称。由于MRv1存在扩展性,资源利用率,可靠性和只能单一框架作业的问题,apacheMRv1进行改造,把JobTracker中的资源管理功能抽象成了一个独立的系统,由原来HDFS,MapReduce两个框架的Hadoop变为了HDFS,YARN,MR,Others等多个框架集合的Hadoop,如下图1 Hadoop框架的演变


图1 Hadoop框架的演变

集结了YARN的集群的不单局限运行MR,还能够同时运行其他的框架比如Spark,Storm,Giraph等,对于运行在YARN之上的各种框架,YARN进行资源(比如CPU,内存)统一管理和分配,使它们共享一个集群,从而提高资源的利用率,降低成本。

二.HDFS Federation

Hadoop 0.23之前一个集群只有一个命名空间,并且是单独的NameNode,这个NameNode负责对这个单独的命名空间进行管理。针对单个NameNodeHDFS架构具有一定的局限性,比如随着数据的飞涨命名空间的限制,性能的瓶颈,大量不同类型的程序在集群中运行导致相互之间的影响,同时由于单节点失效的隐患,一个NameNode的集群一旦宕机将导致了整个集群的不可用。HDFS Federation使HDFS的命名空间能够横向的扩展。在HDFS Federation中的NameNode是联盟关系,它们之间相互独立且不需要相互协调,各自分工,管理自己的区域。从而能够快速的解决大部分单NameNode的问题。图2HDFS框架图:


图2 HDFS框架图

三.HDFS Snaphots

保存某一个时刻的只读文件系统,用于数据的备份防止用户错误和灾难恢复。与数据库快照类似!

四.HDFS HA

用于解决HDFSNameNode单节点问题。实现主NameNode节点在出现故障时与备NameNode节点之间的快速切换。主备NameNode之间通过一个共享存储同步元数据信息,其中Hadoop提供了QJMNFS两种可选的共享存储系统。

人气教程排行