当前位置:Gxlcms > 数据库问题 > Hadoop 连接mysql

Hadoop 连接mysql

时间:2021-07-01 10:21:17 帮助过:25人阅读

1   

mysql数据导入到hdfs数据

      hadoop提供了org.apache.hadoop.io.Writable接口来实现简单的高效的可序列化的协议,该类基于DataInput和DataOutput来实现相关的功能。

     hadoop对数据库访问也提供了org.apache.hadoop.mapred.lib.db.DBWritable接口,其中write方法用于对PreparedStatement对象设定值,readFields方法用于对从数据库读取出来的对象进行列的值绑定;

见  https://blog.csdn.net/lianggangzzu/article/details/72594186

见  https://blog.csdn.net/fantasticqiang/article/details/80667023

 

2

hdfs数据导入到mysql

    hdfs文件存储到mysql,也需要上边的DBRecord类作为辅助,因为数据库的操作都是通过DBInput和DBOutput来进行的;

Hadoop 连接mysql

标签:blank   相关   statement   实现   .net   ofo   get   hdfs   辅助   

人气教程排行