当前位置:Gxlcms > 数据库问题 > 结合业务,精炼SQL

结合业务,精炼SQL

时间:2021-07-01 10:21:17 帮助过:25人阅读

  作为一个excel工作者(呸),当然是开发出可以供用户使用的excel页面啦。举个栗子,比如用户管理里面的,按不同的条件来查询用户,以及和另一张表共同过滤某些用户数据等。当你的系统做大了,你需要分析用户的行为以促进你的网站业务的增长,比如某种特性的用户(比如购买某种VIP)增长得很快,那么你需要去查询他们最多购买的产品、感兴趣的产品、以及消费区间等等。这其实都是查询语句的应用场景,而且在互联网企业中,查的操作是十分频繁的。

  对于SQL的语句来一个范式,那大概是:insert/delete/select/update 字段操作 from 表 where 筛选条件。虽然字段操作部分各有区别,但是重点在于where子句的编写,因为它的编写决定你SQL的执行时间。

  insert

insert into 表名(字段) values(字段值)

  写操作的执行应该是不算频繁的,对于大多数CRM或者ERP来说,这条语句已经足够了。如果插入多条,那就执行多次吧。

  delete

delete from 表名 where 条件

  删除操作是一种微妙复杂的操作,它不会影响系统性能,但是多表关联的时候,删除需要格外小心,程序中有可能根据某表的某些字段去查这个表的某列数据,你删除掉了,就可能报空异常。所以在设计表和程序的时候,需要考虑一种弱耦合的策略。

  update

update 表名 set 字段1=值1,字段2=值2... where 筛选条件

  更新操作也是一种微妙复杂的操作,系统性能的影响是有可能的,如果高并发写操作,由于博主缺少经验,不是很能想象这种场景处理方式(12306好像就是高读写)。更新的关键是,关联数据字段id不能随意更改,类似于指针丢失的概念。

  select

select 字段名 from 表名 where 筛选条件

  查操作十分的花式,你的产品经理会让你各种方式去筛选数据,因为互联网公司比较在意的是某些条件的数据的价值。再举个栗子,我们需要知道哪些用户是付费的、哪些用户是免费的、那些用户是忠实的、那些用户是活跃的等等,这些条件导致where字句变化多端。在系统有十分多查操作的时候,你的数据量很大,select语句有可能就会卡死数据库。所以,在写select的时候,把需要的字段拿出来就好了,避免写select *,如果你经常select *,那我不知道你会不会被主管打死。(其实我设想,数据库在筛选数据的时候应该是根据where筛选,耗时的是where的计算,而select * 大概是消耗传输带宽,不知道设想得对不对)。提高查询效率大概就只有合理应用索引这个方法了。如果数据量再大,就分库分表什么的了。

  • 源数据的处理

  假设查询一张表,到前台时候需要把数据包装一下,在不需要二次查询的时候,不想让前台看到字段名为key的json数据,那么有可能需要遍历后重新put进Map中,这样就有些无谓操作了。

  1.as能帮到你

    如果你的表是,什么USERNAME,PASSWORD这样全大写的字段,那你在select的时候可以as 别名。

select USERNAME as username,PASSWORD as password,EMAIL as email from USER;

  如果不写as,后面跟着另一个字符串的话默认也会变成别名。别名的作用在联合查询中也很有用处。

select a.字段1 as 字段1别名,b.字段2 as 字段2别名 from 表A as a ,表B as b where 筛选条件

  联合查询中用别名来区分一个SQL中的字段是属于哪个表中的。

 

  2.活用常用数据库函数

  有些表需要记录最后操作时间,如果在服务器语言中执行插入时候获取当前时间,是不是感觉有些别扭。可以使用now()函数。数据库会将当前数据库时间作为datetime类型写入。

  像某些计算查到内存里计算显得有些别扭,所以记得使用sum()求和和avg()求平均值。(是不是真的像做excel一样)

  count()这个函数是十分常用了,计算总共多少条数据。

  max()min()也十分实用。

  Date_Format()日期转换,少了我在内存中转换的一步,拿来直接用,不过要记得这个返回的会是字符串类型,如果你要使用Date类型,那得在服务器中转换。

  cast(表达式 as decimal)算是很实用的取整函数了,有了它可以少一步在内存中转换。

  所以写一条SQL可以长得很恶心,为了从源数据中拿到马上能用的数据。

select sum(字段1) as 字段1别名,cast(avg(字段2) as decimal) as 字段2别名,Date_Format(字段3,"%Y-%m-%d") as 字段3别名 from 表名 where 筛选条件

  但是从程序上来说,拿到的数据会很爽。

  3.多条数据处理

  博主一度陷入多条数据不会处理的境地,比如一张订单表,需要你分页查询(按用户,按日期,都可以),这回需要什么鬼实现方式?刚开始我想的是查到内存里然后进行计算,某些数据被剔除掉,这会造成你limit语句是个假分页……也就是查出10条,过滤掉了一些,页面上每页显示都不到10条,并且参差不齐。

  这时候我想起大学时候某位前辈说的,一行SQL胜过千万行程序。使用group by就好了。

select sum(订单金额) ,用户编号  from 订单表 where 条件 group by 用户编号 limit n,m

  这样就是聚合翻页了,按照用户编号分组的。

  如果你要筛选订单金额大于某个值的数据呢?头疼,又去内存里遍历?使用having

sselect sum(订单金额) as 订单金额别名,用户编号  from 订单表 where 条件 group by 用户编号 having 订单金额别名 > a and 订单金额别名 < b limit n,m

  4.升序、降序

  小儿科,order by 某字段 (desc)。这个主要还有一个,比如我想计算用户的购买记录,需要带上时间的。

select sum(购买总额),时间 from 订单表 where 条件

  这样你出来的时间,会是最早那条。(反正不准)

  为了保证统计的总数的时候,同时拿到最新的那条购买时间,这么写就好了。

select sum(购买总额),max(时间) from 订单表 where 条件

 

  • 联合查询

  用得很少,因为现在的架构比较提倡单表弱耦合查询,因为联合查询的SQL很难读,并且一次join就要多算一个表,大概是连乘的复杂度。

  A left join B,左联合,表示以左表为基准,无论B有没有数据,A都会按照where条件查询完毕。结果相当于B集合除去A与B的交集。(图我就不画了)

  A right join B,右联合,表示以右表为基准。集合里相当是A除去A与B的交集。

  A inner join ,交集。

  join都可以后面加个on表示集合运算的条件。

    举个例子

select a.字段1,b.字段2 from 表A as a inner/left/right join 表B as b on(a.id=b.id)

  就是以a为中心,连接b表查询。

  在联合查询中,一般会以某表为中心表,散发式连接多表进行信息筛选。

  模拟一个业务环节,有一张用户表,用户会员信息表,用户订单表。可以查什么数据呢?这就很复杂了,比如查询还在会员期内的会员购买订单的金额、非会员的购买金额、未付款的订单金额等等。CRM系统的需求十分的变化多端,为的就是分析用户的行为从而增加软件的收入。

CREATE TABLE `USER` (
  `GMT_CREATE` datetime NOT NULL,
  `GMT_MODIFIED` datetime NOT NULL,
  `USER_ID` varchar(64) CHARACTER SET latin1 NOT NULL,
  `USER_NAME` varchar(64) CHARACTER SET latin1 DEFAULT NULL,
  `USER_PASSWORD` varchar(64) CHARACTER SET latin1 DEFAULT NULL,
  `USER_EMAIL` varchar(64) CHARACTER SET latin1 DEFAULT NULL,
  PRIMARY KEY (`USER_ID`),
  UNIQUE KEY `USER_ID_UNIQUE` (`USER_ID`),
  KEY `USER_ID` (`USER_ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `USER_MEMBER` (
  `GMT_CREATE` datetime DEFAULT NULL,
  `USER_ID` varchar(64) NOT NULL COMMENT ‘会员id‘,
  `MEMBER_START` datetime NOT NULL COMMENT ‘会员开始时间‘,
  `MEMBER_END` datetime NOT NULL COMMENT ‘会员结束时间‘,
  `MEMBER_RANK` varchar(16) DEFAULT NULL COMMENT ‘会员等级‘,
  PRIMARY KEY (`USER_ID`),
  UNIQUE KEY `USER_ID_UNIQUE` (`USER_ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT=‘会员信息‘;
CREATE TABLE `USER_ORDER` (
  `GMT_CREATE` datetime DEFAULT NULL,
  `ID` int(20) NOT NULL AUTO_INCREMENT,
  `USER_ID` varchar(64) DEFAULT NULL COMMENT ‘用户id‘,
  `ORDER_PRICE` varchar(45) DEFAULT NULL COMMENT ‘订单金额‘,
  `STATUS` varchar(45) DEFAULT NULL COMMENT ‘订单支付状态‘,
  PRIMARY KEY (`ID`),
  KEY `uid` (`USER_ID`)
) ENGINE=InnoDB AUTO_INCREMENT=12 DEFAULT CHARSET=utf8 COMMENT=‘用户订单‘;

  技术分享

  添加了一些数据。

技术分享

 

技术分享

 

技术分享

 

  举个例子,我想查在期内的用户消费量,说着简单,写着就复杂了。

select a.USER_ID ,a.USER_NAME ,sum(c.ORDER_PRICE) from USER as a inner join USER_MEMBER as b on(a.USER_ID = b.USER_ID and MEMBER_END > now()) inner join USER_ORDER as c on(a.USER_ID = c.USER_ID and c.STATUS = ‘yes‘) group by a.USER_ID

  技术分享

  • 结语

    经过实际开发的洗礼,深深的认识到写SQL的重要性,高效的SQL使得程序也变得简洁,对于SQL结果集的数据处理也是要小心的,一不注意就会报空指针异常。作为一名走向资深EXCEL开发的工程师来说(呸),确实,SQL是基础中的基础,在此做一个阶段性的总结。

结合业务,精炼SQL

标签:特性   用户管理   更改   order   select   常用   恶心   word   开发人员   

人气教程排行