MySQL分批插入/更新数据方式

 更新时间:2025年02月07日 14:19:55   作者:天瑕  
文章介绍了如何使用MySQL分批插入/更新数据,以避免大 SQL 语句导致的更新失败或抛出异常,通过手写分批代码或使用 Guava 库的 partition 方法,可以简化批量操作,同时,文章还提到如何使用 partition 方法进行分组查询

MySQL分批插入/更新数据

在我们的日常开发中,经常会使用到批量insert/update的语句来实现相关的业务功能。而如果数据量比较大的话,会导致sql语句更新失败、抛出异常的情况出现。

这个时候我们可以批量执行sql语句,一批一批的执行。

比如说现在有一个需要批量修改商品的方法

我们可以这么改造:

public void batchUpdateById(List<Product> productList) {
    if (CollectionUtils.isEmpty(productList)) {
        return;
    }

    if (productList.size() > CommonUtils.BATCH_NUMBER) {
        int sizeNum = productList.size();
        int startNum = 0;
        int endNum = CommonUtils.BATCH_NUMBER - 1;
        while (startNum < endNum) {
            productMapper.batchUpdateById(productList.subList(startNum, endNum));
            startNum += CommonUtils.BATCH_NUMBER - 1;
            endNum += CommonUtils.BATCH_NUMBER - 1;
            if (endNum > sizeNum - 1) {
                endNum = sizeNum;
            }
        }
    } else {
        productMapper.batchUpdateById(productList);
    }
}

上面BATCH_NUMBER的值是50,意味着当修改商品的数量大于50的时候,会以50个数据为一批,分批的执行;而如果修改商品的数量不大于50的时候,就直接一次执行就够了。

上面是我们自己手写的分批代码,而如果每个方法都这么写,也未免太过于繁琐了。

这个时候我们就可以使用guava库中关于集合的partition分组方法来进行简化:

@Override
public void batchUpdateById(List<GoodsSkuBO> list) {
    if (CollectionUtils.isEmpty(list)) {
        return;
    }

    List<MerchantGoodsSkuDO> merchantGoodsSkuDOS = GoodsAnotherSkuConvertor.INSTANCE.goodsSkuBO2MerchantDOList(list);
    List<List<MerchantGoodsSkuDO>> groupMerchantGoodsSkuDOS = Lists.partition(merchantGoodsSkuDOS, CommonUtils.BATCH_NUMBER);
    groupMerchantGoodsSkuDOS.forEach(goodsSkuMasterMapper::batchUpdateById);
}

由上可以看到,代码简化了很多

(上面的goodsSkuBO2MerchantDOList方法只是将BO转成DO,和分组逻辑没有关系)。

而对于批量查询的方法,我们也可以使用partition方法进行分组查询,防止in条件拼接太多的数据导致sql报错的情况出现:

@Override
public List<GoodsSkuBO> listBySpuIdsSimple(List<Long> spuIds) {
    if (CollectionUtils.isEmpty(spuIds)) {
        return Collections.emptyList();
    }

    //去重
    spuIds = spuIds.stream().distinct().collect(Collectors.toList());
    List<List<Long>> groupSpuIds = Lists.partition(spuIds, CommonUtils.BATCH_NUMBER);
    List<MerchantGoodsSkuDO> spuIdList = groupSpuIds.stream().map(goodsSkuMasterMapper::listBySpuIds).flatMap(Collection::stream)
            .collect(Collectors.toList());
    return GoodsAnotherSkuConvertor.INSTANCE.merchantGoodsSkuDO2GoodsSkuBOList(spuIdList);
}

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 为什么代码规范要求SQL语句不要过多的join

    为什么代码规范要求SQL语句不要过多的join

    SQL中的join可以根据某些条件把指定的表给结合起来并将数据返回给客户端,那么在项目开发中如果需要使用join语句,如何优化提升性能?本文就来详细的介绍一下
    2021-06-06
  • win2003服务器下配置 MySQL 群集(Cluster)的方法

    win2003服务器下配置 MySQL 群集(Cluster)的方法

    MySQL 群集是 MySQL 适合于分布式计算环境的高可用、高冗余版本。它采用了 NDB Cluster 存储引擎,允许在 1 个群集中运行多个 MySQL 服务器。
    2010-12-12
  • MySQL与sqlyog安装教程图文详解

    MySQL与sqlyog安装教程图文详解

    这篇文章主要介绍了MySQL与sqlyog安装教程,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-05-05
  • mysql 悲观锁与乐观锁的理解及应用分析

    mysql 悲观锁与乐观锁的理解及应用分析

    这篇文章主要介绍了mysql 悲观锁与乐观锁的理解及应用,结合实例形式分析了MySQL数据库悲观锁与乐观锁相关概念、原理、使用方法及相关操作注意事项,需要的朋友可以参考下
    2020-02-02
  • MySql优化之InnoDB,4GB内存,多查询的my.ini中文配置方案详解

    MySql优化之InnoDB,4GB内存,多查询的my.ini中文配置方案详解

    本文是一个针对 4G 内存系统(主要运行只有 InnoDB 表的 MySQL 并使用几个连接数执行复杂的查询)的MySQL配置文件方案
    2018-03-03
  • mysql如何读写分离监控

    mysql如何读写分离监控

    本文介绍了如何通过Zookeeper对Mycat节点进行管理和监控的详细步骤,首先通过tar命令安装Zookeeper,并配置相关文件,接着介绍了如何安装和配置Mycat-web,包括修改配置文件中的IP地址和解决内存不足问题
    2024-11-11
  • mysql 模糊搜索的方法介绍

    mysql 模糊搜索的方法介绍

    本文将提供两种方法,第一种最土的方法:使用like语句第二种用全文索引,接下来将为你详细介绍
    2012-11-11
  • MySQL数据库中CAST与CONVERT函数实现类型转换的讲解

    MySQL数据库中CAST与CONVERT函数实现类型转换的讲解

    今天小编就为大家分享一篇关于MySQL数据库中CAST与CONVERT函数实现类型转换的讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-03-03
  • MySQL双主配置的项目实践

    MySQL双主配置的项目实践

    本文详细介绍了配置两台MySQL服务器之间的主从复制,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-12-12
  • MySQL事务处理与应用简析

    MySQL事务处理与应用简析

    事务处理在各种管理系统中都有着广泛的应用,比如人员管理系统,很多同步数据库操作大都需要用到事务处理。这篇文章主要介绍了MySQL事务处理,需要的朋友可以参考下
    2014-06-06

最新评论