Spark操作外部数据源--MySQL
时间：2021-07-01 10:21:17
帮助过：20人阅读
package com.imooc.spark
2
3 import org.apache.spark.sql.SparkSession
4
5 /**
6 * 使用外部数据源综合查询Hive和MySQL的表数据
7 */
8 object HiveMySQLApp {
9
10 def main(args: Array[String]) {
11 val spark = SparkSession.builder().appName("HiveMySQLApp"
)
12 .master("local[2]"
).getOrCreate()
13
14 // 加载Hive表数据
15 val hiveDF = spark.table("emp"
)
16
17 // 加载MySQL表数据
18 val mysqlDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306").option("dbtable", "spark.DEPT").option("user", "root").option("password", "root").option("driver", "com.mysql.jdbc.Driver"
).load()
19
20 // JOIN
21 val resultDF = hiveDF.join(mysqlDF, hiveDF.col("deptno") === mysqlDF.col("DEPTNO"
))
22 resultDF.show
23
24
25 resultDF.select(hiveDF.col("empno"),hiveDF.col("ename"
),
26 mysqlDF.col("deptno"), mysqlDF.col("dname"
)).show
27
28 spark.stop()
29 }
30
31 }
Spark操作外部数据源--MySQL
标签：tab rar package options prope word top build dep
