时间:2021-07-01 10:21:17 帮助过:30人阅读
一、实验目的 1. 现有Hadoop集群只有一个NameNode,现在要增加一个NameNode。 2. 两个NameNode构成HDFS Federation。 3. 不重启现有集群,不影响数据访问。 二、实验环境 4台CentOS release 6.4虚拟机,IP地址为 192.168.56.101 master 192.168.56.102 slave
一、实验目的2. 拷贝master上的hdfs-site.xml文件到集群上的其它节点dfs.namenode.name.dir file:/home/grid/hadoop-2.7.2/hdfs/name dfs.datanode.data.dir file:/home/grid/hadoop-2.7.2/hdfs/data dfs.replication 1 dfs.webhdfs.enabled true dfs.nameservices ns1,ns2 dfs.namenode.rpc-address.ns1 master:9000 dfs.namenode.http-address.ns1 master:50070 dfs.namenode.secondary.http-address.ns1 master:9001 dfs.namenode.rpc-address.ns2 kettle:9000 dfs.namenode.http-address.ns2 kettle:50070 dfs.namenode.secondary.http-address.ns2 kettle:9001
scp hdfs-site.xml slave1:/home/grid/hadoop-2.7.2/etc/hadoop/ scp hdfs-site.xml slave2:/home/grid/hadoop-2.7.2/etc/hadoop/3. 将Java目录、Hadoop目录、环境变量文件从master拷贝到kettle
scp -rp /home/grid/hadoop-2.7.2 kettle:/home/grid/ scp -rp /home/grid/jdk1.7.0_75 kettle:/home/grid/ # 用root执行 scp -p /etc/profile.d/* kettle:/etc/profile.d/4. 启动新的NameNode、SecondaryNameNode
# 在kettle上执行 source /etc/profile ln -s hadoop-2.7.2 hadoop $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode $HADOOP_HOME/sbin/hadoop-daemon.sh start secondarynamenode
图1
5. 刷新DataNode收集新添加的NameNode# 在集群中任意一台机器上执行均可 $HADOOP_HOME/bin/hdfs dfsadmin -refreshNamenodes slave1:50020 $HADOOP_HOME/bin/hdfs dfsadmin -refreshNamenodes slave2:50020至此,HDFS Federation配置完成,从web查看两个NameNode的状态分别如图2、图3所示。
图2
图3
# 向HDFS上传一个文本文件 hadoop dfs -put /home/grid/hadoop/NOTICE.txt / # 分别在两台NameNode节点上运行Hadoop自带的例子 # 在master上执行 hadoop jar /home/grid/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /NOTICE.txt /output # 在kettle上执行 hadoop jar /home/grid/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /NOTICE.txt /output1用下面的命令查看两个输出结果,分别如图4、图5所示。
hadoop dfs -cat /output/part-r-00000 hadoop dfs -cat /output1/part-r-00000图4
图5