Spring Boot 分库分表策略示例展示

更新时间：2024年08月22日 09:37:26 作者：愤怒的代码

分库分表是为了应对大规模数据和高并发请求,提高系统的性能和可扩展性,以下是如何在 Spring Boot 中实现分库分表的详细策略,感兴趣的朋友一起看看吧

1. 分库策略

分库策略是将数据分散到多个数据库实例中。常见的分库策略有：

按用户 ID：例如，通过用户 ID 的哈希值决定存储到哪个数据库。
按业务类型：不同的业务或数据类型存储到不同的数据库。
按数据量：根据数据量将数据分散到多个数据库中。

实现步骤：

配置多个数据源：

在 application.yml 文件中配置多个数据源的连接信息。

示例配置：

spring:
  datasource:
    dynamic:
      primary: db1
      datasource:
        db1:
          url: jdbc:mysql://localhost:3306/db1
          username: root
          password: password
        db2:
          url: jdbc:mysql://localhost:3306/db2
          username: root
          password: password
        # 添加更多数据源

动态数据源路由：

创建 DynamicDataSource 类，继承 AbstractRoutingDataSource，在 determineCurrentLookupKey 方法中返回当前的数据源标识。

DataSourceContextHolder 类用于存储当前的数据库标识。

public class DynamicDataSource extends AbstractRoutingDataSource {
     @Override
     protected Object determineCurrentLookupKey() {
         return DataSourceContextHolder.getDataSourceType();
     }
 }

 public class DataSourceContextHolder {
     private static final ThreadLocal<String> contextHolder = new ThreadLocal<>();

     public static void setDataSourceType(String dataSourceType) {
         contextHolder.set(dataSourceType);
     }

     public static String getDataSourceType() {
         return contextHolder.get();
     }

     public static void clearDataSourceType() {
         contextHolder.remove();
     }
 }

根据用户 ID 选择数据源：

使用工具类 DataSourceUtil 根据用户 ID 计算出数据源标识。

public class DataSourceUtil {
     private static final int TOTAL_DATASOURCES = 8;

     public static String getDataSourceNameByUserId(Long userId) {
         int index = (int) (userId % TOTAL_DATASOURCES) + 1;
         return "db" + index;
     }
 }

配置数据源：

在配置类中创建 DynamicDataSource 实例，并配置各个数据源。

@Configuration
 public class DataSourceConfig {
     @Autowired
     @Qualifier("db1DataSource")
     private DataSource db1DataSource;

     @Autowired
     @Qualifier("db2DataSource")
     private DataSource db2DataSource;

     // 更多数据源...

     @Bean
     public DataSource dataSource() {
         DynamicDataSource dynamicDataSource = new DynamicDataSource();
         Map<Object, Object> targetDataSources = new HashMap<>();
         targetDataSources.put("db1", db1DataSource);
         targetDataSources.put("db2", db2DataSource);
         // 更多数据源...

         dynamicDataSource.setTargetDataSources(targetDataSources);
         dynamicDataSource.setDefaultTargetDataSource(db1DataSource);
         return dynamicDataSource;
     }

     @Bean
     public PlatformTransactionManager transactionManager() {
         return new DataSourceTransactionManager(dataSource());
     }
 }

2. 分表策略

分表策略是将数据分散到多个表中。常见的分表策略有：

按时间分表：例如，每个月一个表。
按 ID 范围分表：例如，每 10000 条数据一个表。
按用户 ID 哈希：例如，将用户数据分散到多个表中。

实现步骤：

生成表名：

创建工具类 TableNameUtil 根据分表策略生成表名。

public class TableNameUtil {
     public static String getTableNameByMonth(String baseTableName, LocalDate date) {
         String month = date.format(DateTimeFormatter.ofPattern("yyyy_MM"));
         return baseTableName + "_" + month;
     }

     public static String getTableNameByIdRange(String baseTableName, Long id) {
         int range = (int) (id / 10000);
         return baseTableName + "_" + range;
     }

     public static String getTableNameByUserId(String baseTableName, Long userId) {
         int tableIndex = (int) (userId % 8);
         return baseTableName + "_" + tableIndex;
     }
 }

在数据访问层使用分表策略：

在数据访问层根据生成的表名执行数据库操作。

@Repository
 public class OrderRepository {
     private final JdbcTemplate jdbcTemplate;

     public OrderRepository(JdbcTemplate jdbcTemplate) {
         this.jdbcTemplate = jdbcTemplate;
     }

     public void saveOrder(Order order) {
         String dataSourceName = DataSourceUtil.getDataSourceNameByUserId(order.getUserId());
         DataSourceContextHolder.setDataSourceType(dataSourceName);

         String tableName = TableNameUtil.getTableNameByUserId("orders", order.getUserId());
         String sql = "INSERT INTO " + tableName + " (id, order_date, amount) VALUES (?, ?, ?)";
         jdbcTemplate.update(sql, order.getId(), order.getOrderDate(), order.getAmount());

         DataSourceContextHolder.clearDataSourceType();
     }
 }

总结

分库：将数据存储到多个数据库中，通过动态数据源选择和路由来决定当前使用的数据库。
分表：将数据存储到多个表中，根据分表策略生成动态表名。
实现：配置多个数据源，使用动态数据源路由，创建工具类生成表名，并在数据访问层应用这些策略。

这种分库分表策略可以有效地提高系统的性能和可扩展性，尤其适用于大规模数据处理场景。

到此这篇关于Spring Boot 分库分表策略示例展示的文章就介绍到这了,更多相关Spring Boot 分库分表策略内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

详解Java 反射和反射的应用场景
这篇文章主要介绍了Java 反射和反射的应用场景的相关资料，帮助大家更好的理解和学习Java反射的相关知识，感兴趣的朋友可以了解下
2020-08-08
Java模拟实现QQ三方登录（单点登录2.0）
这篇文章主要为大家详细介绍了Java模拟实现QQ三方登录，单点登录2.0，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2020-06-06
详解spring与jdbc整合操作
这篇文章主要为大家详细介绍了spring与jdbc整合操作,具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2016-10-10
Spring中@PostConstruct注解的使用讲解
这篇文章主要介绍了Spring中@PostConstruct注解的使用讲解,被@PostConstruct修饰的方法会在服务器加载Servlet的时候运行,并且只会被服务器执行一次,PostConstruct在构造函数之后执行,init()方法之前执行,PreDestroy()方法在destroy()方法之后执行,需要的朋友可以参考下
2023-11-11
浅谈Java中static和非static的区别
这篇文章主要介绍了Java中static和非static的相关内容，小编觉得还是很不错的，这里分享给大家，需要的朋友可以参考下。
2017-10-10
10个Java解决内存溢出OOM的方法详解
在Java开发过程中,有效的内存管理是保证应用程序稳定性和性能的关键,不正确的内存使用可能导致内存泄露甚至是致命的OutOfMemoryError（OOM）,下面我们就来学习一下有哪些解决办法吧
2024-01-01
正确结束Java线程的方法
线程的启动很简单，但用户可能随时取消任务，怎么样让跑起来的线程正确地结束，这是今天要讨论的话题。下面小编来和大家一起学习一下吧
2019-05-05
详解springboot项目带Tomcat和不带Tomcat的两种打包方式
这篇文章主要介绍了详解springboot项目带Tomcat和不带Tomcat的两种打包方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-09-09
Springboot整合微信支付(订单过期取消及商户主动查单)
本文主要介绍了Springboot整合微信支付(订单过期取消及商户主动查单),文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-07-07
最详细的文件上传下载实例详解(推荐)
在Web应用系统开发中，文件上传和下载功能是非常常用的功能，今天来讲一下JavaWeb中的文件上传和下载功能的实现。非常不错，具有参考借鉴价值，感兴趣的朋友一起看下吧
2016-07-07