MySQL分区表实现按月份归类

 更新时间:2021年10月29日 11:24:40   作者:嘟嘟 嘟嘟嘟  
mysql 单表数据量达到千万、亿级,可以通过分表与表分区提升服务性能。本文主要介绍了MySQL分区表实现按月份归类,感兴趣的可以了解一下

MySQL单表数据量,建议不要超过2000W行,否则会对性能有较大影响。最近接手了一个项目,单表数据超7000W行,一条简单的查询语句等了50多分钟都没出结果,实在是难受,最终,我们决定用分区表。

建表

一般的表(innodb)创建后只有一个 idb 文件:

create table normal_table(id int primary key, no int)

查看数据库文件:

normal_table.ibd  

创建按月份分区的分区表,注意!除了常规主键外,月份字段(用来分区的字段)也必须是主键:

create table partition_table(id int AUTO_INCREMENT, create_date date, name varchar(10), 
primary key(id, create_date)) ENGINE=INNODB DEFAULT CHARSET=utf8 
partition by range(month(create_date))(
partition quarter1 values less than(4),
partition quarter2 values less than(7),
partition quarter3 values less than(10),
partition quarter4 values less than(13)
);

查看数据库文件:

partition_table#p#quarter1.ibd  
partition_table#p#quarter2.ibd  
partition_table#p#quarter3.ibd  
partition_table#p#quarter4.ibd

插入

insert into partition_table(create_date, name) values("2021-01-25", "tom1");
insert into partition_table(create_date, name) values("2021-02-25", "tom2");
insert into partition_table(create_date, name) values("2021-03-25", "tom3");
insert into partition_table(create_date, name) values("2021-04-25", "tom4");
insert into partition_table(create_date, name) values("2021-05-25", "tom5");
insert into partition_table(create_date, name) values("2021-06-25", "tom6");
insert into partition_table(create_date, name) values("2021-07-25", "tom7");
insert into partition_table(create_date, name) values("2021-08-25", "tom8");
insert into partition_table(create_date, name) values("2021-09-25", "tom9");
insert into partition_table(create_date, name) values("2021-10-25", "tom10");
insert into partition_table(create_date, name) values("2021-11-25", "tom11");
insert into partition_table(create_date, name) values("2021-12-25", "tom12");

查询

select count(*) from partition_table;
> 12

 
查询第二个分区(第二季度)的数据:
select * from partition_table PARTITION(quarter2);

4 2021-04-25 tom4
5 2021-05-25 tom5
6 2021-06-25 tom6

删除

当删除表时,该表的所有分区文件都会被删除

补充:Mysql自动按月表分区

核心的两个存储过程:

  • auto_create_partition为创建表分区,调用后为该表创建到下月结束的表分区。
  • auto_del_partition为删除表分区,方便历史数据空间回收。
DELIMITER $$
DROP PROCEDURE IF EXISTS auto_create_partition$$
CREATE PROCEDURE `auto_create_partition`(IN `table_name` varchar(64))
BEGIN
   SET @next_month:=CONCAT(date_format(date_add(now(),interval 2 month),'%Y%m'),'01');
   SET @SQL = CONCAT( 'ALTER TABLE `', table_name, '`',
     ' ADD PARTITION (PARTITION p', @next_month, " VALUES LESS THAN (TO_DAYS(",
       @next_month ,")) );" );
   PREPARE STMT FROM @SQL;
   EXECUTE STMT;
   DEALLOCATE PREPARE STMT;
END$$

DROP PROCEDURE IF EXISTS auto_del_partition$$
CREATE PROCEDURE `auto_del_partition`(IN `table_name` varchar(64),IN `reserved_month` int)
BEGIN
 DECLARE v_finished INTEGER DEFAULT 0;
 DECLARE v_part_name varchar(100) DEFAULT "";
 DECLARE part_cursor CURSOR FOR 
  select partition_name from information_schema.partitions where table_schema = schema()
   and table_name=@table_name and partition_description < TO_DAYS(CONCAT(date_format(date_sub(now(),interval reserved_month month),'%Y%m'),'01'));
 DECLARE continue handler FOR 
  NOT FOUND SET v_finished = TRUE;
 OPEN part_cursor;
read_loop: LOOP
 FETCH part_cursor INTO v_part_name;
 if v_finished = 1 then
  leave read_loop;
 end if;
 SET @SQL = CONCAT( 'ALTER TABLE `', table_name, '` DROP PARTITION ', v_part_name, ";" );
 PREPARE STMT FROM @SQL;
 EXECUTE STMT;
 DEALLOCATE PREPARE STMT;
 END LOOP;
 CLOSE part_cursor;
END$$

DELIMITER ;

下面是示例

-- 假设有个表叫records,设置分区条件为按end_time按月分区
DROP TABLE IF EXISTS `records`;
CREATE TABLE `records` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `start_time` datetime NOT NULL,
  `end_time` datetime NOT NULL,
  `memo` varchar(128) CHARACTER SET utf8mb4 NOT NULL,
  PRIMARY KEY (`id`,`end_time`)
) 
PARTITION BY RANGE (TO_DAYS(end_time))(
 PARTITION p20200801 VALUES LESS THAN ( TO_DAYS('20200801'))
);

DROP EVENT IF EXISTS `records_auto_partition`;

-- 创建一个Event,每月执行一次,同时最多保存6个月的数据
DELIMITER $$
CREATE EVENT `records_auto_partition`
ON SCHEDULE EVERY 1 MONTH ON COMPLETION PRESERVE
ENABLE
DO
BEGIN
call auto_create_partition('records');
call auto_del_partition('records',6);
END$$
DELIMITER ;

几点注意事项:

  • 对于Mysql 5.1以上版本来说,表分区的索引字段必须是主键
  • 存储过程中,DECLARE 必须紧跟着BEGIN,否则会报看不懂的错误
  • 游标的DECLARE需要在定义声明之后,否则会报错
  • 如果是自己安装的Mysql,有可能Event功能是未开启的,在创建Event时会提示错误;修改my.cnf,在 [mysqld] 下添加event_scheduler=1后重启即可。

到此这篇关于MySQL分区表实现按月份归类的文章就介绍到这了,更多相关mysql按月表分区内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • MySQL去重的方法整理

    MySQL去重的方法整理

    这篇文章主要介绍了MySQL去重的方法整理的相关资料,需要的朋友可以参考下
    2017-07-07
  • MySQL学习之基础命令实操总结

    MySQL学习之基础命令实操总结

    MySQL 是最流行的关系型数据库管理系统,在WEB应用方面MySQL是最好的。本文将为大家详细介绍一些MySQL的基础命令,需要的可以参考一下
    2022-03-03
  • Linux环境下安装mysql5.7.36数据库教程

    Linux环境下安装mysql5.7.36数据库教程

    大家好,本篇文章主要讲的是Linux环境下安装mysql5.7.36数据库教程,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下,方便下次浏览
    2021-12-12
  • MySQL唯一索引与逻辑删除冲突的解决方案汇总

    MySQL唯一索引与逻辑删除冲突的解决方案汇总

    这篇文章主要介绍了在业务系统中使用逻辑删除时,如何处理唯一索引与逻辑删除冲突的问题,文章介绍了多种解决方案,包括将删除标识设置为NULL、使用时间戳、新增删除唯一标识字段、虚拟生成列、物理删除加历史表以及引入外部缓存,需要的朋友可以参考下
    2025-11-11
  • mysql把查询结果按逗号分割的实现示例

    mysql把查询结果按逗号分割的实现示例

    使用MySQL数据库的GROUP_CONCAT函数,可以将查询结果按逗号或其他指定分隔符连接成字符串,这种方法适用于需要汇总数据并以字符串形式展示的场景,本文介绍了GROUP_CONCAT函数的基本用法和注意事项,感兴趣的可以了解一下
    2024-09-09
  • MySQL8.0/8.x忘记密码更改root密码的实战步骤(亲测有效!)

    MySQL8.0/8.x忘记密码更改root密码的实战步骤(亲测有效!)

    忘记root密码的场景还是比较常见的,特别是自己搭的测试环境经过好久没用过时,很容易记不得当时设置的密码,下面这篇文章主要给大家介绍了关于MySQL8.0/8.x忘记密码更改root密码的实战步骤,亲测有效!需要的朋友可以参考下
    2023-04-04
  • 详细聊一聊mysql的树形结构存储以及查询

    详细聊一聊mysql的树形结构存储以及查询

    由于mysql是关系型数据库,因此对于类似组织架构,子任务等相关的树形结构的处理不是很友好,下面这篇文章主要给大家介绍了关于mysql树形结构存储以及查询的相关资料,需要的朋友可以参考下
    2022-04-04
  • SQL实战演练之网上商城数据库商品类别数据操作

    SQL实战演练之网上商城数据库商品类别数据操作

    一直认为,扎实的SQL功底是一名数据分析师的安身立命之本,甚至可以称得上是所有数据从业者的基本功。当然,这里的SQL绝不单单是写几条查询语句那么简单,接下来请跟着小编通过案例项目演练一遍商品类别的数据操作吧
    2021-10-10
  • 详解MySQL InnoDB的索引扩展

    详解MySQL InnoDB的索引扩展

    这篇文章主要介绍了MySQL InnoDB的索引扩展的相关资料,帮助大家更好的理解和学习MySQL,感兴趣的朋友可以了解下
    2020-08-08
  • mysql处理海量数据时的一些优化查询速度方法

    mysql处理海量数据时的一些优化查询速度方法

    最近一段时间由于工作需要,开始关注针对Mysql数据库的select查询语句的相关优化方法,需要的朋友可以参考下
    2017-04-04

最新评论