hive表增量抽取到mysql(关系数据库)的通用程序(三)

## !!!注意lib中jar包兼容性问题： ## 如果包含log4j-slf4j-impl-2.6.2.jar、log4j-web-2.6.2.jar，请删除，否则会导致冲突，程序启动报错。 ## dim_code=day dim_value=`date -d "yesterday" +%Y%m%d` ## 以下字段不能换行 rdms_driver=‘com.mysql.jdbc.Driver‘ rdms_url=‘jdbc:mysql://xx.xx.xx.xx:3306/bigdata?characterEncoding=UTF8‘ rdms_username=‘bigdata‘ rdms_password=‘123456‘ rdms_tableName=app_flow_general rdms_columnNames=‘tenantcode,dim_code,dim_value,store_code,platform,start_date,end_date,uv,pv,bounce_rate,avg_view,avg_ts,new_uv,old_uv,trade_cr‘ rdms_presql=‘delete from app_flow_general where dim_code = "‘${dim_code}‘" and dim_value ="‘${dim_value}‘"‘ ## 依赖hiveServer2 hive_url=‘jdbc:hive2://dwdev-name1:10000/default‘ hive_hql=‘select tenantcode,dim_code,dim_value,store_code,platform,start_date,end_date,uv,pv,bounce_rate,avg_view,avg_ts,new_uv,old_uv,trade_cr from dw_app.app_flow_general where dim_code = "‘${dim_code}‘" and dim_value = "‘${dim_value}‘"‘ ## 以下是执行java程序,可根据实际情况调整，默认可以不修改 ## lib为jar依赖包文件夹 ## hive_hql: 必填, hive中查询语句 ## rdms_tableName: 必填，目标表名 ## rdms_columnNames: 必填，目标表字段 ## rdms_presql: 可选, 执行插入前，在RDMS中预先执行的sql。通常用来重复导入时候，先删除之前的错误数据 ## batch_size: 可选, 默认值5000，和insert_model配合使用，当insert_model为0时才有效 ## insert_model: 可选, 默认0， 默认分批次插入，0-分批次读取插入, 1-全部一次性读取插入 java -Djava.ext.dirs=lib com.etl.Hive2RMDS --hive_url "${hive_url}" --hive_hql "${hive_hql}" --rdms_driver "${rdms_driver}" --rdms_url "${rdms_url}" --rdms_username "${rdms_username}" --rdms_password "${rdms_password}" --rdms_tableName "${rdms_tableName}" --rdms_columnNames "${rdms_columnNames}" --rdms_presql "${rdms_presql}" --batch_size ‘2‘ --insert_model ‘0‘

执行文件目录结构如下：

lib文件夹放所有依赖包，lib文件夹和shell脚本同层。

 实际运行时，显示解析的参数

一共4条记录，分2批次导入。

 

源程序下面gitee：

 

hive表增量抽取到mysql(关系数据库)的通用程序(三)

标签：mysql   width   bat   程序启动   log4j   结构   html   app   art