时间:2021-07-01 10:21:17 帮助过:24人阅读
- <code>官网位置 DataSet1.6出现的
- SchemaRDD < 1.3 1.3版本前叫 SchemaRDD 1.3以后 叫DataFrame
- DataSet支持 Scala , JAVA 不支持python
- DataFrame 支持四种 JAVA,Scala.Python,R
- DataFrame:并不是spark sql独创的,原来就有的,从其他框架借鉴过来的
- </code>
- <code>分布式的数据集
- 按列进行组织的
- 就是等于关系型数据库总的一张表
- DataFrame=DataSet[Row] 类型是Row</code>
- <code>RDD定义里面有泛型 RDD[person ] RDD不知道Person里面有什么的
- DataFrame 不一样 ,里面是张表,所以暴露的信息多</code>
- <code>RDD开发各种语言有各自的运行环境,所以性能不一样,差异很大,但是DataFrame 是统一都经
- 过计划,在执行,不用管语言开发,性能差不多</code>
- <code>DataFrame 比RDD 更加丰富</code>
- <code>Spark SQL入口点 2.0版本
- <2: SQLContext HiveContext
- >=2: SparkSession
- spark-shell 启动会默认启动sc,spark 两个 SparkContext,SparkSession
- spark.read.json() 不推荐
- 可以这样写
- spark.read.format("json").load(path)
- spark.read.format("text").load(path)</code>
- <code class="language-scala"> val spark = SparkSession.builder()
- .appName("Test")
- .master("local[2]")
- .enableHiveSupport() //支持hive
- .getOrCreate()</code>
Spark SQL的官网解释
标签:出现 shel api builder oca 解释 不用 for ext