脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Mysql → MySQL优化统计查询

MySQL巧用sum、case和when优化统计查询

 更新时间：2021年03月17日 16:59:16   作者：飞锅锅  
这篇文章主要给大家介绍了关于MySQL巧用sum、case和when优化统计查询的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

最近在公司做项目，涉及到开发统计报表相关的任务，由于数据量相对较多，之前写的查询语句查询五十万条数据大概需要十秒左右的样子，后来经过老大的指点利用sum,case...when...重写SQL性能一下子提高到一秒钟就解决了。这里为了简洁明了的阐述问题和解决的方法，我简化一下需求模型。

现在数据库有一张订单表（经过简化的中间表），表结构如下：

CREATE TABLE `statistic_order` (
 `oid` bigint(20) NOT NULL,
 `o_source` varchar(25) DEFAULT NULL COMMENT '来源编号',
 `o_actno` varchar(30) DEFAULT NULL COMMENT '活动编号',
 `o_actname` varchar(100) DEFAULT NULL COMMENT '参与活动名称',
 `o_n_channel` int(2) DEFAULT NULL COMMENT '商城平台',
 `o_clue` varchar(25) DEFAULT NULL COMMENT '线索分类',
 `o_star_level` varchar(25) DEFAULT NULL COMMENT '订单星级',
 `o_saledep` varchar(30) DEFAULT NULL COMMENT '营销部',
 `o_style` varchar(30) DEFAULT NULL COMMENT '车型',
 `o_status` int(2) DEFAULT NULL COMMENT '订单状态',
 `syctime_day` varchar(15) DEFAULT NULL COMMENT '按天格式化日期',
 PRIMARY KEY (`oid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

项目需求是这样的:

统计某段时间范围内每天的来源编号数量，其中来源编号对应数据表中的o_source字段，字段值可能为CDE,SDE,PDE,CSE,SSE。

来源分类随时间流动

一开始写了这样一段SQL：

select S.syctime_day,
 (select count(*) from statistic_order SS where SS.syctime_day = S.syctime_day and SS.o_source = 'CDE') as 'CDE',
 (select count(*) from statistic_order SS where SS.syctime_day = S.syctime_day and SS.o_source = 'CDE') as 'SDE',
 (select count(*) from statistic_order SS where SS.syctime_day = S.syctime_day and SS.o_source = 'CDE') as 'PDE',
 (select count(*) from statistic_order SS where SS.syctime_day = S.syctime_day and SS.o_source = 'CDE') as 'CSE',
 (select count(*) from statistic_order SS where SS.syctime_day = S.syctime_day and SS.o_source = 'CDE') as 'SSE'
 from statistic_order S where S.syctime_day > '2016-05-01' and S.syctime_day < '2016-08-01' 
 GROUP BY S.syctime_day order by S.syctime_day asc;

这种写法采用了子查询的方式，在没有加索引的情况下，55万条数据执行这句SQL，在workbench下等待了将近十分钟，最后报了一个连接中断，通过explain解释器可以看到SQL的执行计划如下：

每一个查询都进行了全表扫描，五个子查询DEPENDENT SUBQUERY说明依赖于外部查询，这种查询机制是先进行外部查询，查询出group by后的日期结果，然后子查询分别查询对应的日期中CDE，SDE等的数量，其效率可想而知。

在o_source和syctime_day上加上索引之后，效率提高了很多，大概五秒钟就查询出了结果：

查看执行计划发现扫描的行数减少了很多，不再进行全表扫描了：

这当然还不够快，如果当数据量达到百万级别的话，查询速度肯定是不能容忍的。一直在想有没有一种办法，能否直接遍历一次就查询出所有的结果，类似于遍历java中的list集合，遇到某个条件就计数一次，这样进行一次全表扫描就可以查询出结果集，结果索引，效率应该会很高。在老大的指引下，利用sum聚合函数，加上case...when...then...这种“陌生”的用法，有效的解决了这个问题。
具体SQL如下：

 select S.syctime_day,
 sum(case when S.o_source = 'CDE' then 1 else 0 end) as 'CDE',
 sum(case when S.o_source = 'SDE' then 1 else 0 end) as 'SDE',
 sum(case when S.o_source = 'PDE' then 1 else 0 end) as 'PDE',
 sum(case when S.o_source = 'CSE' then 1 else 0 end) as 'CSE',
 sum(case when S.o_source = 'SSE' then 1 else 0 end) as 'SSE'
 from statistic_order S where S.syctime_day > '2015-05-01' and S.syctime_day < '2016-08-01' 
 GROUP BY S.syctime_day order by S.syctime_day asc;

关于MySQL中case...when...then的用法就不做过多的解释了，这条SQL很容易理解，先对一条一条记录进行遍历，group by对日期进行了分类，sum聚合函数对某个日期的值进行求和，重点就在于case...when...then对sum的求和巧妙的加入了条件，当o_source = 'CDE'的时候，计数为1，否则为0；当o_source='SDE'的时候......

这条语句的执行只花了一秒多，对于五十多万的数据进行这样一个维度的统计还是比较理想的。

通过执行计划发现，虽然扫描的行数变多了，但是只进行了一次全表扫描，而且是SIMPLE简单查询，所以执行效率自然就高了：

针对这个问题，如果大家有更好的方案或思路，欢迎留言

总结

到此这篇关于MySQL巧用sum、case和when优化统计查询的文章就介绍到这了,更多相关MySQL优化统计查询内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • MySQL索引优化之不适合构建索引及索引失效的几种情况详解

    MySQL索引优化之不适合构建索引及索引失效的几种情况详解

    索引是有双面性的，合理的建立索引可以提高数据库的效率。但是如果没有合理的构建索引和使用索引，可能会导致索引失效或者影响数据库性能，本文主要讨论的是索引失效以及不适合建立索引的场景
    2022-07-07
  • MySql创建带解释的表及给表和字段加注释的实现代码

    MySql创建带解释的表及给表和字段加注释的实现代码

    这篇文章主要介绍了MySql创建带解释的表以及给表和字段加注释的实现方法,非常不错，具有参考借鉴价值，需要的朋友可以参考下
    2016-12-12
  • 深入sql数据连接时的一些问题分析

    深入sql数据连接时的一些问题分析

    本篇文章是对关于sql数据连接时的一些问题进行了详细的分析介绍，需要的朋友参考下
    2013-06-06
  • mysql闪回工具binlog2sql安装配置教程详解

    mysql闪回工具binlog2sql安装配置教程详解

    这篇文章主要介绍了mysql闪回工具binlog2sql安装配置详解，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-05-05
  • Mysql中find_in_set()函数用法详解以及使用场景

    Mysql中find_in_set()函数用法详解以及使用场景

    前几天在sql查询的时候,想要判断数据库中表的某一列中的值是否在List集合中,接触到了find_in_set的使用,用起来方便快捷,下面这篇文章主要给大家介绍了关于Mysql中find_in_set()函数用法详解以及使用场景的相关资料,需要的朋友可以参考下
    2023-03-03
  • MySQL连接抛出Authentication Failed错误的分析与解决思路

    MySQL连接抛出Authentication Failed错误的分析与解决思路

    这篇文章主要给大家介绍了关于MySQL连接抛出Authentication Failed错误的分析与解决方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2018-10-10
  • MySQL百万数据深度分页优化思路解析

    MySQL百万数据深度分页优化思路解析

    这篇文章主要为大家介绍了MySQL百万数据深度分页优化思路分析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-05-05
  • MySQL在不知道列名情况下的注入详解

    MySQL在不知道列名情况下的注入详解

    这篇文章主要给大家介绍了关于MySQL在不知道列名情况下的注入的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用mysql具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-03-03
  • 使用mysql查询显示行号的示例代码

    使用mysql查询显示行号的示例代码

    MySQL变量是一种用于存储和操纵数据的数据类型,通过在SQL查询中使用变量,我们可以创建一个MySQL查询,用于获取每行数据的行号,本文给大家介绍了使用mysql查询显示行号的示例代码,需要的朋友可以参考下
    2024-01-01
  • mysql插入重复数据的处理(DUPLICATE、IGNORE、REPLACE)

    mysql插入重复数据的处理(DUPLICATE、IGNORE、REPLACE)

    这篇文章主要介绍了mysql插入重复数据的处理方式(DUPLICATE、IGNORE、REPLACE),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09

最新评论