springboot 按月分表的实现方式

 更新时间:2023年04月16日 11:18:24   作者:终成一个大象  
本文主要介绍了springboot 按月分表的实现方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

一、项目背景

在实际工作中,会遇到业务比较集中的情况,随着时间推延,这部分业务关联的mysql表就会越来越大,十分臃肿。尽管在项目架构上做了读写分离,也会导致查询的时候出现比较慢的情况,导致线上慢查询的出现。

这种情况下导致的慢查询,单纯从sql优化的角度是无法解决的,此时我们就会用到分库分表。由于我们目前的问题是部分mysql表比较大,采用分表的方式即可解决,本文主要讨论分表的情况。

1、分表的方式

  • 垂直分表

简单理解:把同一个表中的数据按列拆分到不同的表中。

所谓的垂直分表指的是将表结构按照功能模块、关系密切程度划分出来,部署到不同的库或者不同的表中。

  • 水平分表

简单理解:把同一个表中的数据按行拆分到不同的表中。

所谓的水平分表,即将数据按照某种规则存储到不同的表中。例如日志表,可以使用按月或者按天分表,即每个月的日志数据单独存储在一张表中。这些表同时属于一张主表,拥有相同的表结构,但查询时可以大大减轻主表查询的负担。

二、代码实现

主要使用mybatis-plus提供的功能来实现功能。

1、pom文件依赖

        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.1.1</version>
        </dependency>

2、配置文件

# mybatis-plus 配置
mybatis-plus.configuration.call-setters-on-nulls=true
# xml 文件路径
mybatis-plus.mapper-locations=classpath*:mapping/*.xml
# entity 文件路径
mybatis-plus.type-aliases-package=com.geniuworks.bot.entity
# 打印sql语句执行日志
mybatis-plus.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl

# 需要按月分表的表名
mp.tableNames=message

3、MybatisPlusConfig实现

MybatisPlusConfig配置类实现:

package com.geniuworks.bot.config;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.baomidou.mybatisplus.extension.parsers.DynamicTableNameParser;
import com.baomidou.mybatisplus.extension.parsers.ITableNameHandler;
import com.baomidou.mybatisplus.extension.plugins.PaginationInterceptor;
import com.geniuworks.bot.entity.Tables;
import lombok.extern.slf4j.Slf4j;
import org.apache.ibatis.reflection.MetaObject;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import java.text.SimpleDateFormat;
import java.util.Collections;
import java.util.Date;
import java.util.HashMap;
import java.util.List;

/**
 * @Author dingws
 * @PackageName 
 * @Package 
 * @Date 2022/1/5 1:53 下午
 * @Version 1.0
 */
@Configuration
@Slf4j
public class MybatisPlusConfig {

    @Autowired
    private Tables tableNames;

    /**
     *
     * @return
     */
    @Bean
    public PaginationInterceptor paginationInterceptor(){
        PaginationInterceptor paginationInterceptor = new PaginationInterceptor();
        DynamicTableNameParser dynamicTableNameParser = new DynamicTableNameParser();
        dynamicTableNameParser.setTableNameHandlerMap(new HashMap<String, ITableNameHandler>(2){{
            //涉及表集合
            List<String> tables = tableNames.getTableNames();
            //动态表规则 初始表名+_+code
            tables.forEach(tableTitle -> put(tableTitle,(metaObject, sql, tableName) -> tableName + String.valueOf(getParamValue("month",metaObject))));
        }});
        paginationInterceptor.setSqlParserList(Collections.singletonList(dynamicTableNameParser));
        return paginationInterceptor;
    }

    /**
     *
     * @param title
     * @param metaObject
     * @return
     */
    private Object getParamValue(String title, MetaObject metaObject){
        //获取参数
        Object originalObject = metaObject.getOriginalObject();
        JSONObject originalObjectJSON = JSON.parseObject(JSON.toJSONString(originalObject));
        JSONObject boundSql = originalObjectJSON.getJSONObject("boundSql");
        JSONObject parameterObject = boundSql.getJSONObject("parameterObject");
        SimpleDateFormat formatter = new SimpleDateFormat("yyyy_MM");
        if(parameterObject.get(title) == null){
            return "";
        }
        Date date = parameterObject.getObject(title, Date.class);
        log.info("param value = " + formatter.format(date));
        return "_" + formatter.format(date);
    }
}

Tables类实现:

package com.geniuworks.bot.entity;

import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Configuration;

import java.util.List;

/**
 * @Author dingws
 * @PackageName 
 * @Package 
 * @Date 2022/1/5 2:18 下午
 * @Version 1.0
 */
@Configuration
@ConfigurationProperties("mp")
@Data
public class Tables {
    private List<String> tableNames;
}

4、优雅的使用

在使用的时候,只需要在mysql表对应的entity里添加一个字段month即可。

如果month不为空就会按照month的日期所在的月份对数据库表明进行动态拼接。如果month为空则不进行拼接,直接访问总表。

entity类实现:

package com.geniuworks.bot.entity;

import java.util.Date;
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;

@Data
@AllArgsConstructor
@NoArgsConstructor
public class Message {
    private String id;

    private String sessionId;

    private Date createdTime;

    private String content;

	// 根据该字段所在的月分,区分访问的表名
    private Date month;
}

mapper类实现:

package com.geniuworks.bot.mapper;

import com.geniuworks.bot.entity.Message;
import com.geniuworks.bot.vo.MessageVo;
import com.geniuworks.bot.vo.StatisticsVo;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.annotations.Param;
import org.apache.ibatis.annotations.Select;

import java.util.Date;
import java.util.List;
import java.util.Map;

@Mapper
public interface MessageMapper {

    /**
     * insert record to table
     * @param record the record
     * @return insert count
     */
    int insert(Message record);

    /**
     * insert record to table selective
     * @param record the record
     * @return insert count
     */
    int insertSelective(Message record);

    /**
     * update record selective
     * @param record the updated record
     * @return update count
     */
    int updateByPrimaryKeySelective(Message record);

    /**
     * update record
     * @param record the updated record
     * @return update count
     */
    int updateByPrimaryKey(Message record);

5、mysql表名拆分

需要手动把当年需要的数据库手动创建出来,命名规则对应MybatisPlusConfig类中的拼接规则。

三、遇到的问题

由于我一直用的是mybatis组件,需要升级为mybatis-plus,在升级的过程中出现如下的问题。

1、Invalid bound statement (not found)

问题原因: pom文件依赖的是mybatis-plus,配置文件中使用的是mybatis的配置,导致mybatis加载失败。

解决方法:把配置文件的mybatis配置改为mybatis-plus配置

2、resultType=“java.util.Map”,返回字段名被包装

问题原因: 在未升级成mybatis-plus之前,可以直接放回数据库中的字段命名。 升级之后,mybatis-plus将放回字段自动映射为entity中的字段命名。

解决方案: 梳理受到影响的代码逻辑,更新使用的字段命名。

到此这篇关于springboot 按月分表的实现方式的文章就介绍到这了,更多相关springboot 按月分表内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Java实现添加文字水印&图片水印的方法详解

    Java实现添加文字水印&图片水印的方法详解

    为图片添加水印的主要作用是保护图片版权,防止图片被未经授权的人使用或传播。本文为大家介绍了Java实现添加文字水印&图片水印的具体方法,需要的可以参考一下
    2023-02-02
  • Spring mvc拦截器实现原理解析

    Spring mvc拦截器实现原理解析

    这篇文章主要介绍了Spring mvc拦截器实现原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03
  • java 读取网页内容的实例详解

    java 读取网页内容的实例详解

    这篇文章主要介绍了java 读取网页内容的实例详解的相关资料,希望通过本文能帮助到大家,让大家学习理解这部分内容,需要的朋友可以参考下
    2017-09-09
  • java.lang.NullPointerException 如何处理空指针异常的实现

    java.lang.NullPointerException 如何处理空指针异常的实现

    这篇文章主要介绍了java.lang.NullPointerException 如何处理空指针异常的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12
  • IntelliJ IDEA如何集成maven

    IntelliJ IDEA如何集成maven

    这篇文章主要介绍了IntelliJ IDEA如何集成maven问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-12-12
  • 深入理解spring事务

    深入理解spring事务

    这篇文章主要介绍了spring事务深入理解,介绍了事物特性,事物隔离级别,事物的具体使用实例,有感兴趣的同学可以研究下
    2021-03-03
  • Docker容器中的SSH免密登录详解

    Docker容器中的SSH免密登录详解

    这篇文章主要介绍了Docker容器中的SSH免密登录详解,在日常的开发和测试环境中经常需要创建和管理Docker容器,有时,出于调试或管理的目的,可能需要SSH到容器内部,本文将介绍如何创建一个Docker容器,它在启动时自动运行SSH服务,并支持免密登录,需要的朋友可以参考下
    2023-08-08
  • Java连接数据库的步骤介绍

    Java连接数据库的步骤介绍

    这篇文章介绍了Java连接数据库的步骤,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-04-04
  • Java反射技术原理与用法实例分析

    Java反射技术原理与用法实例分析

    这篇文章主要介绍了Java反射技术原理与用法,结合实例形式分析了Java反射技术的基本概念、功能、原理、用法及操作注意事项,需要的朋友可以参考下
    2020-04-04
  • IDEA设置maven修改settings.xml配置文件无法加载仓库的解决方案

    IDEA设置maven修改settings.xml配置文件无法加载仓库的解决方案

    这篇文章主要介绍了IDEA设置maven修改settings.xml配置文件无法加载仓库的解决方案,帮助大家更好的利用IDEA进行JAVA的开发学习,感兴趣的朋友可以了解下
    2021-01-01

最新评论