[Sqoop]将Hive数据表导出到Mysql

hive表pms.yhd_categ_prior的表结构如下：

-- col_name                     data_type 
category_id                     bigint
category_name                   string
category_level                  int      
default_import_categ_prior      int
user_import_categ_prior         int
default_eliminate_categ_prior   int
user_eliminate_categ_prior      int
update_time                     string

hive表的字段之间以\001分隔，行以\n分隔，空字段以\N填充。

现在需要将hive表pms.yhd_categ_prior导出到mysql表YHD_CATEG_PRIOR中。

业务实现

脚本如下：

####################################
#
# 将Hive表同步到Mysql
#
####################################
rm -rf ./YHD_CATEG_PRIOR.java

sqoop-export -Dmapred.job.queue.name=pms --connect jdbc:mysql://127.0.0.1:3306/market --username admin --password 123456 --table YHD_CATEG_PRIOR --export-dir /user/hive/pms/yhd_categ_prior --columns category_id,category_name,category_level,default_import_categ_prior,user_import_categ_prior,default_eliminate_categ_prior,user_eliminate_categ_prior --update-mode allowinsert --update-key category_id --fields-terminated-by ‘\001‘ --lines-terminated-by ‘\n‘ --input-null-string ‘\\N‘ --input-null-non-string ‘\\N‘

上述脚本解析如下：

• 将hive表pms.yhd_categ_prior导出到mysql的YHD_CATEG_PRIOR表中
• hive表导出的字段为：

category_id,
category_name,
category_level,
default_import_categ_prior,
user_import_categ_prior,
default_eliminate_categ_prior,
user_eliminate_categ_prior

[Sqoop]将Hive数据表导出到Mysql

标签：