spark-sql性能测试

 

2）专快播单,接单情况.sql

      spark-sql 1.6保持分配600G的内存不变，在不同数据量下进行测试：

	200G	550G	1.1T
spark-sql 1.4	11-12mins
spark-sql 1.6	7-8mins	22mins	51mins
hive	15mins	50mins	将近5T内存，就没测试

 

3) 听单

	time
spark-sql 1.6	190s
hive	1117s

 

4) 

三，总结 

1）spark-sql 1.6  相对于spark-sql 1.4 提高30%的性能； 2）不同应用spark-sql相对于hive性能提升幅度不同，但是都会提高很多 3）不同存储+压缩格式，存储空间不同 4）hive的stage-1的mr个数与数据存储空间大小成正比；      注：mr 的个数与block大小有关，所以在split切分设为110M以后，资源占用大概两倍； 5）在数据量接近或远大于分配内存资源的情况下，spark-sql速度比下降，但相对于hive，仍就很快（并且hive资源占用过多）；

spark-sql性能测试

标签：