当前位置:Gxlcms > 数据库问题 > SpringBoot2 整合 ClickHouse数据库,实现高性能数据查询分析

SpringBoot2 整合 ClickHouse数据库,实现高性能数据查询分析

时间:2021-07-01 10:21:17 帮助过:135人阅读

本文源码:GitHub·点这里 || GitEE·点这里

一、ClickHouse简介

1、基础简介

Yandex开源的数据分析的数据库,名字叫做ClickHouse,适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库,而是作为超高性能的海量数据快速查询的分布式实时处理平台,在数据汇总查询方面(如GROUP BY),ClickHouse的查询速度非常快。

2、数据分析能力

  • OLAP场景特征
  1. <code>· 大多数是读请求
  2. · 数据总是以相当大的批(> 1000 rows)进行写入
  3. · 不修改已添加的数据
  4. · 每次查询都从数据库中读取大量的行,但是同时又仅需要少量的列
  5. · 宽表,即每个表包含着大量的列
  6. · 较少的查询(通常每台服务器每秒数百个查询或更少)
  7. · 对于简单查询,允许延迟大约50毫秒
  8. · 列中的数据相对较小: 数字和短字符串(例如,每个URL 60个字节)
  9. · 处理单个查询时需要高吞吐量(每个服务器每秒高达数十亿行)
  10. · 事务不是必须的
  11. · 对数据一致性要求低
  12. · 每一个查询除了一个大表外都很小
  13. · 查询结果明显小于源数据,换句话说,数据被过滤或聚合后能够被盛放在单台服务器的内存中</code>
  • 列式数据存储

(1)、行式数据

技术图片

(2)、列式数据

技术图片

(3)、对比分析

分析类查询,通常只需要读取表的一小部分列。在列式数据库中可以只读取需要的数据。数据总是打包成批量读取的,所以压缩是非常容易的。同时数据按列分别存储这也更容易压缩。这进一步降低了I/O的体积。由于I/O的降低,这将帮助更多的数据被系统缓存。

二、整合SpringBoot框架

该案例基于:Druid连接池和mybatis进行整合。Druid 1.1.10 版本 SQL Parser对clickhouse的开始提供支持。

1、核心依赖

  1. <code><dependency>
  2. <groupId>ru.yandex.clickhouse</groupId>
  3. <artifactId>clickhouse-jdbc</artifactId>
  4. <version>0.1.53</version>
  5. </dependency></code>

2、配属数据源

  1. <code>spring:
  2. datasource:
  3. type: com.alibaba.druid.pool.DruidDataSource
  4. click:
  5. driverClassName: ru.yandex.clickhouse.ClickHouseDriver
  6. url: jdbc:clickhouse://127.0.0.1:8123/default
  7. initialSize: 10
  8. maxActive: 100
  9. minIdle: 10
  10. maxWait: 6000</code>

3、Druid连接池配置

  1. <code>@Configuration
  2. public class DruidConfig {
  3. @Resource
  4. private JdbcParamConfig jdbcParamConfig ;
  5. @Bean
  6. public DataSource dataSource() {
  7. DruidDataSource datasource = new DruidDataSource();
  8. datasource.setUrl(jdbcParamConfig.getUrl());
  9. datasource.setDriverClassName(jdbcParamConfig.getDriverClassName());
  10. datasource.setInitialSize(jdbcParamConfig.getInitialSize());
  11. datasource.setMinIdle(jdbcParamConfig.getMinIdle());
  12. datasource.setMaxActive(jdbcParamConfig.getMaxActive());
  13. datasource.setMaxWait(jdbcParamConfig.getMaxWait());
  14. return datasource;
  15. }
  16. }</code>

4、参数配置类

  1. <code>@Component
  2. @ConfigurationProperties(prefix = "spring.datasource.click")
  3. public class JdbcParamConfig {
  4. private String driverClassName ;
  5. private String url ;
  6. private Integer initialSize ;
  7. private Integer maxActive ;
  8. private Integer minIdle ;
  9. private Integer maxWait ;
  10. // 省略 GET 和 SET
  11. }</code>

这样整合代码就完成了。

三、操作案例演示

1、Mapper接口

  1. <code>public interface UserInfoMapper {
  2. // 写入数据
  3. void saveData (UserInfo userInfo) ;
  4. // ID 查询
  5. UserInfo selectById (@Param("id") Integer id) ;
  6. // 查询全部
  7. List<UserInfo> selectList () ;
  8. }</code>

这里就演示简单的三个接口。

2、Mapper.xml文件

  1. <code><mapper namespace="com.click.house.mapper.UserInfoMapper">
  2. <resultMap id="BaseResultMap" type="com.click.house.entity.UserInfo">
  3. <id column="id" jdbcType="INTEGER" property="id" />
  4. <result column="user_name" jdbcType="VARCHAR" property="userName" />
  5. <result column="pass_word" jdbcType="VARCHAR" property="passWord" />
  6. <result column="phone" jdbcType="VARCHAR" property="phone" />
  7. <result column="email" jdbcType="VARCHAR" property="email" />
  8. <result column="create_day" jdbcType="VARCHAR" property="createDay" />
  9. </resultMap>
  10. <sql id="Base_Column_List">
  11. id,user_name,pass_word,phone,email,create_day
  12. </sql>
  13. <insert id="saveData" parameterType="com.click.house.entity.UserInfo" >
  14. INSERT INTO cs_user_info
  15. (id,user_name,pass_word,phone,email,create_day)
  16. VALUES
  17. (#{id,jdbcType=INTEGER},#{userName,jdbcType=VARCHAR},#{passWord,jdbcType=VARCHAR},
  18. #{phone,jdbcType=VARCHAR},#{email,jdbcType=VARCHAR},#{createDay,jdbcType=VARCHAR})
  19. </insert>
  20. <select id="selectById" parameterType="java.lang.Integer" resultMap="BaseResultMap">
  21. select
  22. <include refid="Base_Column_List" />
  23. from cs_user_info
  24. where id = #{id,jdbcType=INTEGER}
  25. </select>
  26. <select id="selectList" resultMap="BaseResultMap" >
  27. select
  28. <include refid="Base_Column_List" />
  29. from cs_user_info
  30. </select>
  31. </mapper></code>

这里 create_day 是以字符串的方式在转换,这里需要注意下。

3、控制层接口

  1. <code>@RestController
  2. @RequestMapping("/user")
  3. public class UserInfoController {
  4. @Resource
  5. private UserInfoService userInfoService ;
  6. @RequestMapping("/saveData")
  7. public String saveData (){
  8. UserInfo userInfo = new UserInfo () ;
  9. userInfo.setId(4);
  10. userInfo.setUserName("winter");
  11. userInfo.setPassWord("567");
  12. userInfo.setPhone("13977776789");
  13. userInfo.setEmail("winter");
  14. userInfo.setCreateDay("2020-02-20");
  15. userInfoService.saveData(userInfo);
  16. return "sus";
  17. }
  18. @RequestMapping("/selectById")
  19. public UserInfo selectById () {
  20. return userInfoService.selectById(1) ;
  21. }
  22. @RequestMapping("/selectList")
  23. public List<UserInfo> selectList () {
  24. return userInfoService.selectList() ;
  25. }
  26. }</code>

四、源代码地址

  1. <code>GitHub·地址
  2. https://github.com/cicadasmile/middle-ware-parent
  3. GitEE·地址
  4. https://gitee.com/cicadasmile/middle-ware-parent</code>

技术图片

SpringBoot2 整合 ClickHouse数据库,实现高性能数据查询分析

标签:iba   include   添加   版本   img   inf   interface   sele   mil   

人气教程排行