时间：2021-07-01 10:21:17 帮助过：56人阅读
Hive部署（包括集成Hbase和Sqoop）? 1 安装环境 1.1 系统环境 ??? 主要是选择软件版本。 Hadoop 1.0.3 Hbase 0.94.0 Hive 0.8.1 zookeeper-3.3.5 Mysql 5.5.28 JDK 1.6 Sqoop-1.4.2 1.2 环境变量 $HDOOP_HOME：/home/hadoop/hadoop $HBASE_HOME：/home/hadoo
??? 主要是选择软件版本。
http://mirror.bit.edu.cn/apache/hive/hive-0.8.1/
tar –xf hive-0.8.1.tar.gz
将解压后的hive-0.8.1文件放在系统的/home/hadoop/hive/中。
mkdir /home/hadoop/hive
mv /home/hadoop/hive-0.8.1 /home/hadoop/hive
修改hive-0.8.1目录下/conf/hive-env.sh.template中的HADOOP_HOME为实际的Hadoop安装目录。
步骤一：进入/home/hadoop/hive/conf。
cd /home/hadoop/hive/conf
步骤二：复制hive-env.sh.template命名为hive-env.sh。
cp hive-env.sh.template hive-env.sh
步骤三：修改HADOOP_HOME目录为/home/hadoop/hadoop。
vim hive-env.sh
?修改完成之后的效果如图所示。
配置设置HADOOP_HOME结束。
步骤如下所示：
bin/hadoop fs -mkdir /tmp
bin/hadoop fs -mkdir /user/hive/warehouse
bin/hadoop fs -chmod g+w /tmp
bin/hadoop fs -chmod g+w /user/hive/warehouse
修改完成之后的效果如图所示:
创建/tmp和/user/hive/warehouse结束。
hive-site.xml主要配置项说明如下所示：
步骤一：创建hive-default.xml、hive-site.xml
将conf/hive-default.xml.template复制两份，分别命名为hive-default.xml（用于保留默认配置）和hive-site.xml（用于个性化配置，可覆盖默认配置）。命令如下所示：
cd /home/hadoop/hive/conf
cp hive-default.xml.template hive-default.xml
cp hive-default.xml.template hive-site.xml
步骤二：修改hive-site.xml，命令如下所示：
cd /home/hadoop/hive/conf
vim hive-site.xml
下面是hive-site.xml文件的配置示例：
hive.metastore.warehouse.dir /user/hive/warehouse location of default database for the warehouse hive.exec.scratchdir /tmp Scratch space for Hive jobs
修改hive-site.xml结束。
在终端输入bin/hive，当你看到“hive>”，那么恭喜你，Hive已经正确安装，可以运行了。
由于Hive的元数据可能要面临不断的更新、修改和读取，所以它显然不适合使用Hadoop文件系统进行存储。目前Hive将元数据存储在RDBMS中，比如MySQL、Derby中。本文选择MySQL。
代码如下所示：
javax.jdo.option.ConnectionURL jdbc:mysql://10.2.0.254:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName hive username to use against metastore database javax.jdo.option.ConnectionPassword exhive password to use against metastore database
把MySQL的JDBC驱动包（mysql-connector-java-5.1.21.jar）复制到Hive的lib目录下。
Hive元数据配置结束。
在Hive中创建表成功后，数据库中自动创建表格，即说明配置成功。如图所示：
?
?
Hadoop、hive和hbase环境搭建完成。Hive与Hbase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler.jar工具类（Hive Storage Handlers）。
?将hbase-0.94.0.jar 、zookeeper-3.3.5.jar包copy至所有节点$HDOOP_HOME/lib及$HIVE_HOME/lib下。注意$HIVE_HOME/lib含有hbase包需要删除。
将protobuf-java-2.4.0a.jar包copy至所有节点$HADOOP_HOME/lib下，并需要重启集群（不重启该包不会被加载进classpath）。
将hbase-site.xml文件copy至所有节点$HDOOP_HOME/conf下。
代码如下所示：
hive.aux.jars.path file:///home/hadoop/hive/lib/hive-hbase-handler-0.8.1jar, file:/// home/hadoop/hive/lib/hbase-0.94.0.jar, file:/// home/hadoop/hive/lib/zookeeper-3.4.5.jar
Hive与hbase集成到这里就结束了。
1、启动hive，创建表。代码如下：
hive>CREATE TABLE hbase_hive(key string, value string)
STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES
("hbase.columns.mapping"=":key,info:value")
TBLPROPERTIES ("hbase.table.name"= "hbase_hive");
创建表成功，表名为：hbase_hive。
2、在hive和hbase查询表hbase_hive是否存在
在hive中：
hive> show tables;
hbase_hive
在hbase中：
hbase(main):004:0> list
TABLE???????????????????????????????????????????????????????????????
hbase_hive???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
Hive和Hbase中都出现了hbase_hive这张表，表明Hive集成Hbase成功。
http://www.apache.org/dist/sqoop/1.4.2/sqoop-1.4.2.bin__hadoop-0.20.tar.gz
tar –xf sqoop-1.4.2.bin__hadoop-0.20.tar.gz
将解压后的sqoop-1.4.2.bin__hadoop-0.20文件放在系统的/home/hadoop/sqoop/中。
mkdir /home/hadoop/sqoop
mv /home/hadoop/sqoop-1.4.2.bin__hadoop-0.20 /home/hadoop/sqoop
修改sqoop目录下/conf/sqoop-env.sh.template中的HADOOP_HOME和HIVE_HOME安装目录。
步骤一：进入/home/hadoop/sqoop/conf。
cd /home/hadoop/sqoop/conf
步骤二：复制sqoop-env.sh.template命名为sqoop-env.sh。
cp sqoop-env.sh.template sqoop-env.sh
步骤三：修改HADOOP_HOME目录为/home/hadoop/hadoop。
vim sqoop-env.sh
修改完成之后的效果如图所示。
??? 到这里，sqoop就已经安装成功。???
此博客为原创，转载请保留此出处，谢谢。 http://free9277.iteye.com/blog/1847094
原文地址：Hive部署（包括集成Hbase和Sqoop）, 感谢原作者分享。