Spring Boot 分库分表策略示例展示

 更新时间:2024年08月22日 09:37:26   作者:愤怒的代码  
分库分表是为了应对大规模数据和高并发请求,提高系统的性能和可扩展性,以下是如何在 Spring Boot 中实现分库分表的详细策略,感兴趣的朋友一起看看吧

分库分表是为了应对大规模数据和高并发请求,提高系统的性能和可扩展性。以下是如何在 Spring Boot 中实现分库分表的详细策略:

1. 分库策略

分库策略是将数据分散到多个数据库实例中。常见的分库策略有:

  • 按用户 ID:例如,通过用户 ID 的哈希值决定存储到哪个数据库。
  • 按业务类型:不同的业务或数据类型存储到不同的数据库。
  • 按数据量:根据数据量将数据分散到多个数据库中。

实现步骤:

  • 配置多个数据源

application.yml 文件中配置多个数据源的连接信息。

示例配置:

spring:
  datasource:
    dynamic:
      primary: db1
      datasource:
        db1:
          url: jdbc:mysql://localhost:3306/db1
          username: root
          password: password
        db2:
          url: jdbc:mysql://localhost:3306/db2
          username: root
          password: password
        # 添加更多数据源
  • 动态数据源路由

创建 DynamicDataSource 类,继承 AbstractRoutingDataSource,在 determineCurrentLookupKey 方法中返回当前的数据源标识。

DataSourceContextHolder 类用于存储当前的数据库标识。

public class DynamicDataSource extends AbstractRoutingDataSource {
     @Override
     protected Object determineCurrentLookupKey() {
         return DataSourceContextHolder.getDataSourceType();
     }
 }
​
 public class DataSourceContextHolder {
     private static final ThreadLocal<String> contextHolder = new ThreadLocal<>();
​
     public static void setDataSourceType(String dataSourceType) {
         contextHolder.set(dataSourceType);
     }
​
     public static String getDataSourceType() {
         return contextHolder.get();
     }
​
     public static void clearDataSourceType() {
         contextHolder.remove();
     }
 }
  • 根据用户 ID 选择数据源

使用工具类 DataSourceUtil 根据用户 ID 计算出数据源标识。

public class DataSourceUtil {
     private static final int TOTAL_DATASOURCES = 8;
​
     public static String getDataSourceNameByUserId(Long userId) {
         int index = (int) (userId % TOTAL_DATASOURCES) + 1;
         return "db" + index;
     }
 }
  • 配置数据源

在配置类中创建 DynamicDataSource 实例,并配置各个数据源。

@Configuration
 public class DataSourceConfig {
     @Autowired
     @Qualifier("db1DataSource")
     private DataSource db1DataSource;
​
     @Autowired
     @Qualifier("db2DataSource")
     private DataSource db2DataSource;
​
     // 更多数据源...
​
     @Bean
     public DataSource dataSource() {
         DynamicDataSource dynamicDataSource = new DynamicDataSource();
         Map<Object, Object> targetDataSources = new HashMap<>();
         targetDataSources.put("db1", db1DataSource);
         targetDataSources.put("db2", db2DataSource);
         // 更多数据源...
​
         dynamicDataSource.setTargetDataSources(targetDataSources);
         dynamicDataSource.setDefaultTargetDataSource(db1DataSource);
         return dynamicDataSource;
     }
​
     @Bean
     public PlatformTransactionManager transactionManager() {
         return new DataSourceTransactionManager(dataSource());
     }
 }

2. 分表策略

分表策略是将数据分散到多个表中。常见的分表策略有:

  • 按时间分表:例如,每个月一个表。
  • 按 ID 范围分表:例如,每 10000 条数据一个表。
  • 按用户 ID 哈希:例如,将用户数据分散到多个表中。

实现步骤:

  • 生成表名

创建工具类 TableNameUtil 根据分表策略生成表名。

public class TableNameUtil {
     public static String getTableNameByMonth(String baseTableName, LocalDate date) {
         String month = date.format(DateTimeFormatter.ofPattern("yyyy_MM"));
         return baseTableName + "_" + month;
     }
​
     public static String getTableNameByIdRange(String baseTableName, Long id) {
         int range = (int) (id / 10000);
         return baseTableName + "_" + range;
     }
​
     public static String getTableNameByUserId(String baseTableName, Long userId) {
         int tableIndex = (int) (userId % 8);
         return baseTableName + "_" + tableIndex;
     }
 }
  • 在数据访问层使用分表策略

在数据访问层根据生成的表名执行数据库操作。

@Repository
 public class OrderRepository {
     private final JdbcTemplate jdbcTemplate;
​
     public OrderRepository(JdbcTemplate jdbcTemplate) {
         this.jdbcTemplate = jdbcTemplate;
     }
​
     public void saveOrder(Order order) {
         String dataSourceName = DataSourceUtil.getDataSourceNameByUserId(order.getUserId());
         DataSourceContextHolder.setDataSourceType(dataSourceName);
​
         String tableName = TableNameUtil.getTableNameByUserId("orders", order.getUserId());
         String sql = "INSERT INTO " + tableName + " (id, order_date, amount) VALUES (?, ?, ?)";
         jdbcTemplate.update(sql, order.getId(), order.getOrderDate(), order.getAmount());
​
         DataSourceContextHolder.clearDataSourceType();
     }
 }

总结

  • 分库:将数据存储到多个数据库中,通过动态数据源选择和路由来决定当前使用的数据库。
  • 分表:将数据存储到多个表中,根据分表策略生成动态表名。
  • 实现:配置多个数据源,使用动态数据源路由,创建工具类生成表名,并在数据访问层应用这些策略。

这种分库分表策略可以有效地提高系统的性能和可扩展性,尤其适用于大规模数据处理场景。

到此这篇关于Spring Boot 分库分表策略示例展示的文章就介绍到这了,更多相关Spring Boot 分库分表策略内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 带你3分钟带你搞定Spring Boot中Schedule

    带你3分钟带你搞定Spring Boot中Schedule

    本文主要围绕Spring scheduled应用实践进行分享,如果是单体应用,使用SpringBoot内置的@scheduled注解可以解决大部分业务需求,对Spring Boot中Schedule 相关知识感兴趣的朋友一起看看吧
    2024-07-07
  • Java BufferWriter写文件写不进去或缺失数据的解决

    Java BufferWriter写文件写不进去或缺失数据的解决

    这篇文章主要介绍了Java BufferWriter写文件写不进去或缺失数据的解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-07-07
  • java并发编程专题(四)----浅谈(JUC)Lock锁

    java并发编程专题(四)----浅谈(JUC)Lock锁

    这篇文章主要介绍了java并发编程(JUC)Lock锁的相关内容,文中讲解非常细致,代码帮助大家更好的理解和学习,感兴趣的朋友可以了解下
    2020-06-06
  • MybatisPlus中的多表条件排序查询

    MybatisPlus中的多表条件排序查询

    这篇文章主要介绍了MybatisPlus中的多表条件排序查询,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-09-09
  • Spring cloud config集成过程详解

    Spring cloud config集成过程详解

    这篇文章主要介绍了spring cloud config集成过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • Java如何获取当前进程ID以及所有Java进程的进程ID

    Java如何获取当前进程ID以及所有Java进程的进程ID

    本篇文章主要介绍了Java如何获取当前进程ID以及所有Java进程的进程ID,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-06-06
  • 解读maven项目中Tomcat10与JSTL的问题汇总(Debug亲身经历)

    解读maven项目中Tomcat10与JSTL的问题汇总(Debug亲身经历)

    这篇文章主要介绍了解读maven项目中Tomcat10与JSTL的问题汇总(Debug亲身经历),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-07-07
  • 使用Java实现验证码程序

    使用Java实现验证码程序

    这篇文章主要为大家详细介绍了使用Java实现验证码程序,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-04-04
  • 详解使用JRebel插件实现SpringBoot应用代码热加载

    详解使用JRebel插件实现SpringBoot应用代码热加载

    这篇文章主要介绍了详解使用JRebel插件实现SpringBoot应用代码热加载,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-10-10
  • Java ynchronized重量级锁的核心原理详解

    Java ynchronized重量级锁的核心原理详解

    这篇文章主要为大家详细介绍了Java ynchronized重量级锁的核心原理,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助
    2022-03-03

最新评论