【赵强老师】在Spark SQL中读取JSON文件

• 需要用到的测试数据：people.json

{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19} 

• 定义路径

val path ="/root/temp/people.json" 

• 读取Json文件，生成DataFrame：

val peopleDF = spark.read.json(path) 

• 打印Schema结构信息

peopleDF.printSchema()

• 创建临时视图

peopleDF.createOrReplaceTempView("people") 

• 执行查询

spark.sql("SELECT name FROM people WHERE age=19").show

【赵强老师】在Spark SQL中读取JSON文件

标签：efault   引擎   并且   对象   数据   查询   注意   分布式   pat