脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Mysql → mysql 去重distinct group by

MySQL去重该使用distinct还是group by？

 更新时间：2020年05月13日 10:53:03   作者：泽阳君  
这篇文章主要介绍了MySQL去重该使用distinct还是group by,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

前言

关于group by 与distinct 性能对比:网上结论如下，不走索引少量数据distinct性能更好，大数据量group by 性能好，走索引group by性能好。走索引时分组种类少distinct快。关于网上的结论做一次验证。

准备阶段屏蔽查询缓存

查看MySQL中是否设置了查询缓存。为了不影响测试结果，需要关闭查询缓存。

show variables like '%query_cache%';

在这里插入图片描述

查看是否开启查询缓存决定于query_cache_type和query_cache_size。

  • 方法一：关闭查询缓存需要找到my.ini，修改query_cache_type需要修改C:\ProgramData\MySQL\MySQL Server 5.7\my.ini配置文件，修改query_cache_type=0或2。
  • 方法二：设置query_cache_size为0，执行以下语句。
set global query_cache_size = 0;

方法三：如果你不想关闭查询缓存，也可以在使用RESET QUERY CACHE。

现在测试环境中query_cache_type=2代表按需进行查询缓存，默认的查询方式是不会进行缓存，如需缓存则需要在查询语句中加上sql_cache。

数据准备

t0表存放10W少量种类少的数据

drop table if exists t0;
create table t0(
id bigint primary key auto_increment,
a varchar(255) not null
) engine=InnoDB default charset=utf8mb4 collate=utf8mb4_bin;
1
2
3
4
5
drop procedure insert_t0_simple_category_data_sp;
delimiter //
create procedure insert_t0_simple_category_data_sp(IN num int)
begin
set @i = 0;
while @i < num do
	insert into t0(a) value(truncate(@i/1000, 0));
 set @i = @i + 1;
end while;
end
//
call insert_t0_simple_category_data_sp(100000);

t1表存放1W少量种类多的数据

drop table if exists t1;
create table t1 like t0;
1
2
drop procedure insert_t1_complex_category_data_sp;
delimiter //
create procedure insert_t1_complex_category_data_sp(IN num int)
begin
set @i = 0;
while @i < num do
	insert into t1(a) value(truncate(@i/10, 0));
 set @i = @i + 1;
end while;
end
//
call insert_t1_complex_category_data_sp(10000);

t2表存放500W大量种类多的数据

drop table if exists t2;
create table t2 like t1;
1
2
drop procedure insert_t2_complex_category_data_sp;
delimiter //
create procedure insert_t2_complex_category_data_sp(IN num int)
begin
set @i = 0;
while @i < num do
	insert into t1(a) value(truncate(@i/10, 0));
 set @i = @i + 1;
end while;
end
//
call insert_t2_complex_category_data_sp(5000000);

测试阶段

验证少量种类少数据

未加索引

set profiling = 1;
select distinct a from t0;
show profiles;
select a from t0 group by a;
show profiles;
alter table t0 add index `a_t0_index`(a);

在这里插入图片描述

由此可见：少量种类少数据下，未加索引，distinct和group by性能相差无几。

加索引

alter table t0 add index `a_t0_index`(a);

执行上述类似查询后

在这里插入图片描述

由此可见：少量种类少数据下，加索引，distinct和group by性能相差无几。

验证少量种类多数据未加索引

执行上述类似未加索引查询后

在这里插入图片描述

由此可见：少量种类多数据下，未加索引，distinct比group by性能略高，差距并不大。

加索引

alter table t1 add index `a_t1_index`(a);

执行类似未加索引查询后

在这里插入图片描述

由此可见：少量种类多数据下，加索引，distinct和group by性能相差无几。

验证大量种类多数据

未加索引

SELECT count(1) FROM t2;

在这里插入图片描述

执行上述类似未加索引查询后

在这里插入图片描述

由此可见：大量种类多数据下，未加索引，distinct比group by性能高。

加索引

alter table t2 add index `a_t2_index`(a);

执行上述类似加索引查询后

在这里插入图片描述

由此可见：大量种类多数据下，加索引，distinct和group by性能相差无几。

总结 性能比 少量种类少 少量种类多 大量种类多未加索引相差无几distinct略优distinct更优加索引相差无几相差无几相差无几

去重场景下，未加索引时，更偏向于使用distinct，而加索引时，distinct和group by两者都可以使用。

总结

到此这篇关于MySQL去重该使用distinct还是group by？的文章就介绍到这了,更多相关mysql 去重distinct group by内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • MySQL处理JSON常见函数的使用

    MySQL处理JSON常见函数的使用

    这篇文章主要介绍了MySQL处理JSON常见函数的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-03-03
  • MySQL存储过程的创建使用以及实现数据快速插入

    MySQL存储过程的创建使用以及实现数据快速插入

    因最近想要测试一下MySQL百万级数据处理过程,所以要一次对数据库快速插入大量数据,下面这篇文章主要给大家介绍了关于MySQL存储过程的创建使用以及实现数据快速插入的相关资料,需要的朋友可以参考下
    2023-03-03
  • MySQL制作具有千万条测试数据的测试库的方法

    MySQL制作具有千万条测试数据的测试库的方法

    这篇文章主要介绍了MySQL制作具有千万条测试数据的测试库的方法，帮助大家更好的理解和学习MySQL，感兴趣的朋友可以了解下
    2020-11-11
  • MySQL详细汇总常用函数

    MySQL详细汇总常用函数

    MySQL数据库中提供了很丰富的函数。MySQL函数包括数学函数、字符串函数、日期和时间函数、条件判断函数、系统信息函数、加密函数、格式化函数等。通过这些函数，可以简化用户的操作。本期将带你总结常用函数都有哪些
    2021-11-11
  • mysql实现递归查询的方法示例

    mysql实现递归查询的方法示例

    本文主要介绍了mysql实现递归查询的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-07-07
  • MySQL启用慢查询日志记录方法

    MySQL启用慢查询日志记录方法

    由于程序员写的东西不一定是最优的所以我们只要启用mysql慢查询日志功能就可以分析每一条sql语句所运行相关性能了，下面大家一起来看看
    2017-01-01
  • 优化MySQL Join算法的性能的操作方法

    优化MySQL Join算法的性能的操作方法

    本文介绍了优化MySQL JOIN算法性能的多种方法,包括索引优化、表结构设计、查询语句优化和系统配置调整,通过合理创建索引、优化表结构、选择合适的驱动表以及调整相关系统参数,可以有效提高JOIN操作的性能,感兴趣的朋友一起看看吧
    2025-02-02
  • 解析远程连接管理其他机器上的MYSQL数据库

    解析远程连接管理其他机器上的MYSQL数据库

    本篇文章是对远程连接管理其他机器上的MYSQL数据库进行了详细的分析介绍，需要的朋友参考下
    2013-06-06
  • mysql数据库基本语法及操作大全

    mysql数据库基本语法及操作大全

    这篇文章主要介绍了mysql数据库基本语法及操作大全,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2021-04-04
  • MySql修改数据库编码为UTF8避免造成乱码问题

    MySql修改数据库编码为UTF8避免造成乱码问题

    mysql 创建数据库时指定编码很重要，很多开发者都使用了默认编码，乱码问题可是防不胜防，下面与大家分享下通过修改数据库默认编码方式为UTF8来减少数据库创建时的设置,避免因粗心造成的乱码问题
    2013-06-06

最新评论