当前位置:Gxlcms > 数据库问题 > 数据采集+调度:cdh5.8.0+mysql5.7.17+hadoop+sqoop+hbase+oozie+hue

数据采集+调度:cdh5.8.0+mysql5.7.17+hadoop+sqoop+hbase+oozie+hue

时间:2021-07-01 10:21:17 帮助过:31人阅读

mysql>create user ‘admin‘@‘%‘identified by ‘Admin@123‘;

mysql>grant all privileges on *.* to ‘admin‘@‘%‘;

mysql>flush privileges;


----------


四、安装cloudera manager 

1.解压cloudera-manager-el6-cm5.8.0_x86_64.tar.gz到指定路径:/opt

# tar -zxvf cloudera-manager-el6-cm5.8.0_x86_64.tar.gz -C /opt/

# for a in {1..6}; do scp -r /opt/cm-5.8.0/ enc-bigdata0$a:/opt/;done

2.修改配置文件

# vim /opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini

server_host=enc-bigdata05

技术分享

# for a in {1..6}; do scp -r /opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini enc-bigdata0$a:/opt/cm-5.8.0/etc/cloudera-scm-agent/config.ini ; done

3.创建CDH内置数据库scm

# mv mysql-connector-java-5.1.40-bin.jar /opt/cm-5.7.0/share/cmf/lib

# /opt/cm-5.7.1/share/cmf/schemascm_prepare_database.sh mysql -hlocalhost -uroot –pAdmin@123 --scm-host localhost scm scm scm

scm_prepare_database.sh 数据库类型 服务器ip username password -scm-host [cloudera manager server所在服务器] scm scm scm;

4.将parecel包复制到cdh-server的指定目录下,修改CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1文件名

# cp CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel /opt/cloudera/parcel-repo/

# cp CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1 /opt/cloudera/parcel-repo/

# cp manifest.json/opt/cloudera/parcel-repo/

# mv /opt/cloudera/parcel-repo/CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha


4.启动cloudera-scm-server

# /opt/cm-5.8.0/etc/init.d/cloudera-scm-server start/status/stop

5.启动cloudera-scm-agent

# for a in {1..6}; do ssh enc-bigdata0$a /opt/cm-5.8.0/etc/init.d/cloudera-scm-agent start; done

6.问题:cloudera-scm-agent 启动失败: Unable to create the pidfile

原因: 无法创建 /opt/cm-5.8.0/run/cloudera-scm-agent

解决办法:

# mkdir /opt/cm-5.8.0/run/cloudera-scm-agent

# chown -R cloudera-scm:cloudera-scm /opt/cm-5.8.0/run/cloudera-scm-agent

7.进入网址: http://IP:7180/ (配置CDH5.8.0)

技术分享

 

enc-bigdata0[1-6].enc.cn ##点击模式

技术分享

 

注意: 修改jdk主目录很重要,以防止集群主机无法检测到jdk;

技术分享

技术分享

技术分享

技术分享

注意: 要保证所有检查都成功,以防止后面报错

技术分享

技术分享

注意 : hive的元数据库如果是安装在mysql中的话,需要将相应数据库驱动拷贝到hive家目录下的lib;

# mv mysql-connector-java-5.1.40-bin.jar /opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/lib/hive/lib

将相应的数据库驱动拷贝到对应的服务家目录下,以防止数据库连接失败;

五、问题

1. 关于namenode的内存问题,namenode的内存如果不够的话,会导致namenode服务进程死掉

问题描述:can‘t open /opt/cm-5.7.0/run/cloudera-scm-agent/process/1033-hdfs-NAMENODE/supervisord.conf , Permission deny

解决办法:增加内存

技术分享

2. 无法检测到jdk存在

解决办法:设置JDK主目录

技术分享

 

3. oozie web 页面不能显示

解决办法:上传ext-2.2.zip到指定路径:/var/lib/oozie

技术分享

六、总结 

**本篇章仅供参考,具体的请以官方文档为准,谢谢!!**

 

数据采集+调度:cdh5.8.0+mysql5.7.17+hadoop+sqoop+hbase+oozie+hue

标签:用户   ppi   version   lis   引擎   profile   官方文档   set   auth   

人气教程排行