时间：2021-07-01 10:21:17 帮助过：23人阅读
写在前面： 1.Apache版本HADOOP云计算平台环境搭建 1.1 集群环境介绍 Hadoop集群环境包含1台机器，在每台机器上运行4台虚拟机，是一个典型的主从式（Master-Slaves）结构。集群包含一个主控节点（Master）和4个从属节点（Slave）。在主从式结构中，主节点一
写在前面：
1.Apache版本HADOOP云计算平台环境搭建
1.1 集群环境介绍
Hadoop集群环境包含1台机器，在每台机器上运行4台虚拟机，是一个典型的主从式（Master-Slaves）结构。集群包含一个主控节点（Master）和4个从属节点（Slave）。在主从式结构中，主节点一般负责集群管理、任务调度和负载平衡等，从节点则执行来自主节点的计算和存储任务。
该集群环境具体的软硬件和网络配置情况见表3.1。
表3.1 集群详细软硬件和网络配置
|
序号 |
主机名 |
网络地址 |
操作系统 |
|
1 |
Master |
192.168.137.2 |
Centos6.4-x64 |
|
2 |
Slave1 |
192.168.137.3 |
Centos6.4-x64 |
|
3 |
Slave2 |
192.168.137.4 |
Centos6.4-x64 |
1.2 Hadoop环境搭建
1.2.1 Apache Hadoop简介
Hadoop是Apache开源组织的一个分布式计算框架，可以在大量廉价硬件设备组成的集群上运行应用程序，并为应用程序提供了一组稳定可靠的接口，旨在构建一个具有高可靠性和良好扩展性的分布式系统。随着云计算技术的逐渐流行与普及，该项目被越来越多的个人和企业所运用。Hadoop项目的核心是HDFS、MapReduce和HBase，它们分别是Google云计算核心技术GFS（Google File System）、MapReduce和Bigtable的开源实现。
1.2.2 Apache Hadoop安装准备
1、hosts的配置
这一步是必须的，因为这里需要对使用环境的user做具体的分配和指定。
2、更改hosts
首先需要设定IP地址：
#ifconfig //查询现在的ip地址
然后通过设置VPN，来设置各机器的IP地址，具体过程这里就不详述了。
现在需要配置每台电脑的hosts名称，使用下列指令：
#vim /etc/sysconfig/network
在其中添加这样的内容：
HOSTNAME=Master.Hadoop
（备注：Slave机器则改为相应的Slave1.Hadoop…….）
3、配置hosts文件
#vim /etc/hosts
在其中添加下面几行内容：
192.168.137.2 Master.Hadoop
192.168.137.3 Slave1.Hadoop
192.168.137.4 Slave2.Hadoop
4、验证设置是否启用
我们在Master.Hadoop对机器为"Slave1.Hadoop"的主机名进行ping通测试，看是否能测试成功。
Master.Hadoop$ping192.168.137.3
（备注：对于其他机器之间的测试同理）
5、添加一个用户
#adduser hadoop
#passwd hadoop //设置hadoop的密码
1.3.3 ssh无密码验证设置（以下设置全部在hadoop用户下进行）
Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置SSH运用无密码公钥认证的形式，这样NameNode使用SSH无密码登录并启动DataName进程，同样原理，DataNode上也能使用SSH无密码登录到NameNode。
1、安装和启动ssh
可以通过下面命令查看是否已经安装ssh和rsync，显示如下：
$rpm –qa | grep openssh
$rpm –qa | grep rsync
2、Master机器上生成密码对
在Master节点上执行以下命令：
$ssh-keygen –t rsa –P ''
（备注：这里的“’”是单引号，上面指令最后使用了两个单引号）
这条命令是生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在"~/.ssh"目录下。
查看"/usr/hadoop/"下是否有".ssh"文件夹，且".ssh"文件下是否有两个刚生产的无密码密钥对。接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去。使用下面的指令：
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
在验证前，需要做两件事儿。第一件事儿是修改文件"authorized_keys"权限（权限的设置非常重要，因为不安全的设置安全设置，会让你不能使用RSA功能），另一件事儿是用root用户设置"/etc/ssh/sshd_config"的内容。使其无密码登录有效。
3、修改文件"authorized_keys"的权限
使用下列指令：
$chmod 600~/.ssh/authorized_keys
4、设置SSH配置
用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容，去掉下面几句话前面的注释符“#”。
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径
设置完之后记得重启SSH服务，才能使刚才设置有效。
$service sshd restart
退出root登录，使用hadoop普通用户验证是否成功。
#ssh localhost
5、在Slave机器上生成密码对
在Slave1.Hadoop上执行下列指令：
$ssh-keygen –t –rsa –P ''
在Slave1.Hadoop机器中生成~/.ssh文件。然后在把本机生成的密码对加载到本机上的authorized_keys
$cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
然后更改authorized_keys文件的权限。
$chmod 600~/.ssh/authorized_keys
(备注：如果有多个Slave，对多个Slave进行相同的操作即可，Slave2.Hadoop,Slave2.Hadoop……)
6、在Master和Slave之间追加授权密码
Master.Hadoop$cd ~/.ssh
Master.Hadoop$scp./id_rsa.pub hadoop@192.168.137.3:~/
Slave1.Hadoop$cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
Slave1.Hadoop$scp ~/.ssh/id_rsa.pub hadoop@192.168.137.4:~/
Master.Hadoop$cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
（备注：如果有多个Slave，对多个Slave和Master之间进行相同的操作即可）
用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容，去掉下面几句话前面的注释符“#”。
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）
设置完之后记得重启SSH服务，才能使刚才设置有效。
$service sshd restart
退出root登录，使用hadoop普通用户验证是否成功。
#ssh localhost
7、验证ssh无密码登陆设置成功
Master.Hadoop$ssh Slave1.Hadoop
这时候如果不需要输入Slave1.Hadoop主机的登陆密码，就说明设置成功了，否则，说明前面的设置出错了，请细心检查下。
同理，再输入下列指令，检验Slave对Master的设置是否成功：
Slave1.Hadoop$sshMaster.Hadoop
1.3.4 JAVA环境安装（所有主机均要安装，并且以下操作在root用户下执行）
1、下载jdk
从oracle官网下载jdk1.7.0_21，放到根目录下/。
2、安装jdk
执行下列指令：
#cd /usr
#mkdir java
#cp / jdk-7u21-linux-x64.rpm/usr/java/
#cd /usr/java
#rpm –ivh jdk-7u21-linux-x64.rpm
然后会进行rpm安装的过程。
3、设置java环境变量
编辑"/etc/profile"文件，在后面添加Java的"JAVA_HOME"、"CLASSPATH"以及"PATH"内容。
首先，编辑"/etc/profile"文件
#vim /etc/profile
其次，添加Java环境变量
在"/etc/profile"文件的尾部添加以下内容：
# set java environment
export JAVA_HOME=/usr/java/jdk1.7.0_21
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
保存并退出，执行下面命令使其配置立即生效。
#source /etc/profile
4、验证安装和配置是否成功
输入下列指令：
#java -version
然后写一个小的JAVA程序，编译执行下是否正确执行，如果可以，则配置成功，否则，JAVA的配置过程可能有问题，需要检查。
1.3.5 Hadoop集群安装
所有的机器上都要安装hadoop，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装和配置hadoop需要以"root"的身份进行。
用root用户登录"Master.Hadoop"机器，查看我们用SSH上传至"/"目录下的"hadoop-1.1.1.tar.gz"，把该文件复制到“/usr/”目录下。
1、进入"/usr/"目录下，用下面命令把"hadoop-1.1.1.tar.gz "进行解压，并将其命名为"hadoop"，把该文件夹的读权限分配给普通用户hadoop，然后删除" hadoop-1.1.1.tar.gz"安装包。
#cd /usr
#tar -zxvf hadoop-1.1.1.tar.gz
#mv hadoop-1.1.1 hadoop
#chown -R hadoop:hadoop hadoop
#rm -r hadoop-1.1.1.tar.gz
2、把Hadoop的安装路径添加到"/etc/profile"中，修改"/etc/profile"文件（配置java环境变量的文件），将以下语句添加到末尾，并使其有效：
3、在"/usr/hadoop"创建"tmp"文件夹
#mkdir /usr/hadoop/tmp
4、配置"/etc/profile"
#vim /etc/profile
# set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
重启"/etc/profile"
#source /etc/profile
5、配置hadoop
需要配置hadoop的文件，首先，配置hadoop-env.sh
该"hadoop-env.sh"文件位于"/usr/hadoop/conf"目录下。
在文件的末尾添加下面内容。
# set java environment
export JAVA_HOME=/usr/java/jdk1.7.0_21
Hadoop配置文件在conf目录下，之前的版本的配置文件主要是Hadoop-default.xml和Hadoop-site.xml。由于Hadoop发展迅速，代码量急剧增加，代码开发分为了core，hdfs和map/reduce三部分，配置文件也被分成了三个core-site.xml、hdfs-site.xml、mapred-site.xml。core-site.xml和hdfs-site.xml是站在HDFS角度上配置文件；core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。
其次是配置core-site.xml文件，修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号。
（备注：请先在 /usr/hadoop 目录下建立 tmp 文件夹）
（备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。）
然后是配置hdfs-site.xml文件，修改Hadoop中HDFS的配置，配置的备份方式默认为1。
(备注：replication 是数据副本数量，默认为3，salve少于3台就会报错)
最后，配置mapred-site.xml文件，修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。
下面需要配置masters文件和slaves文件，对于masters文件，去掉"localhost"，改成本集群中主节点的IP地址：192.168.137.2；对于slaves文件（Master主机特有），去掉"localhost"，加入集群中所有Slave机器的IP，也是每行一个。
192.168.137.3
192.168.137.4
现在在Master机器上的Hadoop配置就结束了，剩下的就是配置Slave机器上的Hadoop。将 Master上配置好的hadoop所在文件夹"/usr/hadoop"复制到所有的Slave的"/usr"目录下（实际上Slave机器上的slavers文件是不必要的， 复制了也没问题）。用下面命令格式进行。（备注：此时用户可以为hadoop也可以为root）
#scp -r /usr/hadoop root@192.168.137.3:/usr/
#scp -r /usr/hadoop root@192.168.137.4:/usr/
当然不管是用户root还是hadoop，虽然Master机器上的"/usr/hadoop"文件夹用户hadoop有权限，但是Slave1上的hadoop用户却没有"/usr"权限，所以没有创建文件夹的权限。所以无论是哪个用户进行拷贝，右面都是"root@机器IP"格式。因为我们只是建立起了hadoop用户的SSH无密码连接，所以用root进行"scp"时，扔提示让你输入"Slave1.Hadoop"服务器用户root的密码。
hadoop文件夹确实已经复制了，但是我们发现hadoop权限是root，所以我们现在要给"Slave1.Hadoop"服务器上的用户hadoop添加对"/usr/hadoop"读权限。以root用户登录"Slave1.Hadoop"，执行下面命令。
#chown -R hadoop:hadoop hadoop
接着在"Slave1 .Hadoop"上修改"/etc/profile"文件（配置 java 环境变量的文件），将以下语句添加到末尾，并使其有效（source /etc/profile）：
# set hadoop environment
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH :$HADOOP_HOME/bin
1.3.6 启动及验证
1、格式化HDFS文件系统
在"Master.Hadoop"上使用普通用户hadoop进行操作。（备注：只需一次，下次启动不再需要格式化，只需 start-all.sh）
$hadoop namenode –format
2、启动hadoop
在启动前关闭集群中所有机器的防火墙，不然会出现datanode开后又自动关闭。
$service iptables stop
使用下面命令启动。
$start-all.sh
启动 hadoop成功后，在 Master 中的 tmp 文件夹中生成了 dfs 文件夹，在Slave 中的 tmp 文件夹中均生成了 dfs 文件夹和 mapred 文件夹。
到此为止，hadoop云计算平台配置完毕。
2.OOZIE的安装配置
2.1 OOZIE简介
oozie是一种Java Web应用程序，它运行在Javaservlet容器——即Tomcat中，并使用数据库来存储以下内容：
? 工作流定义
? 当前运行的工作流实例，包括实例的状态和变量
Oozie工作流是放置在控制依赖DAG（有向无环图 DirectAcyclic Graph）中的一组动作（例如，Hadoop的Map/Reduce作业、Pig作业等），其中指定了动作执行的顺序。我们会使用hPDL（一种XML流程定义语言）来描述这个图。
hPDL是一种很简洁的语言，只会使用少数流程控制和动作节点。控制节点会定义执行的流程，并包含工作流的起点和终点（start、end和fail节点）以及控制工作流执行路径的机制（decision、fork和join节点）。动作节点是一些机制，通过它们工作流会触发执行计算或者处理任务。Oozie为以下类型的动作提供支持：Hadoop map-reduce、Hadoop文件系统、Pig、Java和Oozie的子工作流（SSH动作已经从Oozie schema 0.2之后的版本中移除了）。
所有由动作节点触发的计算和处理任务都不在Oozie之中——它们是由Hadoop的Map/Reduce框架执行的。这种方法让Oozie可以支持现存的Hadoop用于负载平衡、灾难恢复的机制。这些任务主要是异步执行的（只有文件系统动作例外，它是同步处理的）。这意味着对于大多数工作流动作触发的计算或处理任务的类型来说，在工作流操作转换到工作流的下一个节点之前都需要等待，直到计算或处理任务结束了之后才能够继续。Oozie可以通过两种不同的方式来检测计算或处理任务是否完成，也就是回调和轮询。当Oozie启动了计算或处理任务的时候，它会为任务提供唯一的回调URL，然后任务会在完成的时候发送通知给特定的URL。在任务无法触发回调URL的情况下（可能是因为任何原因，比方说网络闪断），或者当任务的类型无法在完成时触发回调URL的时候，Oozie有一种机制，可以对计算或处理任务进行轮询，从而保证能够完成任务。
Oozie工作流可以参数化（在工作流定义中使用像${inputDir}之类的变量）。在提交工作流操作的时候，我们必须提供参数值。如果经过合适地参数化（比方说，使用不同的输出目录），那么多个同样的工作流操作可以并发。
一些工作流是根据需要触发的，但是大多数情况下，我们有必要基于一定的时间段和（或）数据可用性和（或）外部事件来运行它们。Oozie协调系统（Coordinatorsystem）让用户可以基于这些参数来定义工作流执行计划。Oozie协调程序让我们可以以谓词的方式对工作流执行触发器进行建模，那可以指向数据、事件和（或）外部事件。工作流作业会在谓词得到满足的时候启动。
经常我们还需要连接定时运行、但时间间隔不同的工作流操作。多个随后运行的工作流的输出会成为下一个工作流的输入。把这些工作流连接在一起，会让系统把它作为数据应用的管道来引用。Oozie协调程序支持创建这样的数据应用管道。
2.2 OOZIE安装具体过程
1、先下载Oozie，下载后解压oozie-3.3.2.tar.gz到根目录下：
获取文件“oozie-3.3.2”，放到目录“/”下。并重命名为oozie。
这个时候执行命令：
#./bin/mkdistro.sh–DskipTests
2、下载ext-2.2.zip，下载文件“ext-2.2”，放到目录“/”下。
3、设置HADOOP的配置文件
在/usr/hadoop/conf/core-site.xml文件中加入下列内容：
修改完成后，新建一个文件夹/usr/oozie/libext/将ext-2.2.zip放到该目录下。
4、将oozie文件夹复制到/usr/目录下面。
5、拷贝HADOOP的JAR包到oozie。
将./hadooplibs/hadoop-1/文件夹下的所有JAR包复制到刚才新建的libext文件夹下。
6、拷贝ext-2.2.zip文件到./webapp/下并且解压到该目录下。
7、创建文件oozie.war。运行命令：
/usr/oozie/bin/oozie-setup.sh-extjs /oozie/webapp/src/main/webapp/ext-2.2.zip
显示：Specified Oozie WAR '/usr/oozie/oozie.war'already contains ExtJS library files，即可继续。
8、设置OOZIE的配置文件。
修改文件/usr/oozie/conf/oozie-site.xml，找到下面这部分内容：
Creates Oozie DB.
If set to true, it creates the DB schema if it does not exist. If the DB schema exists is a NOP.
If set to false, it does not create the DB schema. If the DB schema does not exist it fails start up.
将其中的false改成true。
9、加载数据库。
使用命令：
#/usr/oozie/bin/ooziedb.sh create -sqlfile oozie.sql –run
之后出现：
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Validate DB Connection
DONE
Check DB schema does not exist
DONE
Check OOZIE_SYS table does not exist
DONE
Create SQL schema
DONE
Create OOZIE_SYS table
DONE
Oozie DB has been created for Oozie version '3.3.2'
The SQL commands have been written to: oozie.sql
即表示创建成功。这时候可以看到一个oozie.sql文件。
10、加入原Hadoop的包，这里需要拷贝hadoop-core-1.1.1.jar和commons-configuration-1.6.jar这两个JAR包到目录：./oozie-server/webapps/oozie/WEB-INF/lib/下。
11、拷贝oozie.war文件到./oozie-server/webapps/下。
12、更改权限，此时需要更改oozie文件夹及其全部子文件的权限：
#chown -R hadoop:hadoop oozie
13、开启Oozie，使用命令：
$./bin/oozied.sh run
14、查看web控制台
输入命令:
$oozie admin -oozie http://192.168.137.2:11000/oozie -status
当看到结果:
System mode: NORMAL
则表示已经成功,通过浏览器输入http://192.168.137.2:11000/oozie就能看到Oozie的管理界面。如下图2.1所示：
图2.1 Oozie管理界面