当前位置:Gxlcms > 数据库问题 > 14.Sqoop把数据从HDFS导出到mysql

14.Sqoop把数据从HDFS导出到mysql

时间:2021-07-01 10:21:17 帮助过:18人阅读

技术图片

1201,gopal,manager,50000,TP
1202,manisha,preader,50000,TP
1203,kalil,php dev,30000,AC
1204,prasanth,php dev,30000,AC
1205,kranthi,admin,20000,TP
1206,satish p,grp des,20000,GR

 

把数据文件上传到集群

技术图片

 

 在HDFS上创建目录

技术图片

hadoop fs -mkdir -p /user/hadoop/emp

 

 

 把数据文件上传到HDFS上

技术图片

hadoop fs -put emp_data.txt /user/hadoop/emp

 

 技术图片

 

 

 登录Mysql

技术图片

 

技术图片

mysql> create database userdb;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on userdb.* to sqoop@% identified by sqoop;
Query OK, 0 rows affected (0.15 sec)

mysql> grant all privileges on userdb.* to sqoop@localhost identified by sqoop;
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on userdb.* to sqoop@node1 identified by sqoop;
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.01 sec)

mysql> use userdb
Database changed
mysql> 

 

 

在mysql里创建一个表

 CREATE TABLE employee ( 
   id INT NOT NULL PRIMARY KEY, 
   name VARCHAR(20), 
   deg VARCHAR(20),
   salary INT,
   dept VARCHAR(10));

 技术图片

 

 

现在需要从HDFS上把数据导入到mysql中对应的表

 执行命令

bin/sqoop export --connect jdbc:mysql://node1:3306/userdb \
--username sqoop --password sqoop --table employee --export-dir /user/hadoop/emp/
--input-fields-terminated-by ,

 

 

 技术图片

技术图片

 

 查看Mysql表的数据

技术图片

 

14.Sqoop把数据从HDFS导出到mysql

标签:row   ble   nod   hdfs   kali   0.00   dir   数据文件   reader   

人气教程排行