Springboot 手动分页查询分批批量插入数据的实现流程

 更新时间:2022年07月05日 16:57:02   作者:小目标青年  
这篇文章主要介绍了Springboot 手动分页查询分批批量插入数据的实现流程,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

前言

业务场景是什么? 

就是数据库的一批数据,量不少,需要执行同步插入到别的地方。

简单点肯定是一次性查出来,然后循环一个个插入,完事。

考虑点:

① 数据量大,一次性查出来操作,很爆炸。

② 循环里面一次一次地去插入,如果非业务场景必要,基本是不会在循环里面使用sql操作的。

所以该篇作为抛砖引玉(还有很多需要考虑的点),给出一种解决上面场景的代码编写方案, 手动分页,查询后批量插入。

正文

实现的流程简图:

看看最终实现的效果,通过代码日志记录了这个实现后的效果 :

开始实战:

代码大体就这样:

 代码:

        //获取数据总计数
        UserQueryCondition userQueryCondition=new UserQueryCondition();
        Integer totalCount = userService.getAllUserCount(userQueryCondition);
        //每批同步的数据条数
        Integer batchSizeLimit = 500;
        //分批切割处理
        List<PageLimitDTO> pageLimitGroupList = getPageLimitGroupList(totalCount, batchSizeLimit);
        int count=1;
        //物理批次查询
        for (PageLimitDTO pageBatchLimit:pageLimitGroupList){
            List<User> pageBatchList = userService.getPageList(
                    userQueryCondition, pageBatchLimit.getCurrIndex(), pageBatchLimit.getPageSize()
            );
            if (!CollectionUtils.isEmpty(pageBatchList)){
                //批量插入
                Boolean syncAddResult = userSyncService.batchSyncAdd(pageBatchList);
                //做其余业务
                if (syncAddResult){
                    log.info("第{}次,user数据批量插入成功",count);
                }
            }
            log.info("第{}批次,user数据同步批量插入业务结束执行",count);
            count=count+1;
        }

切割函数getPageLimitGroupList:

    public List<PageLimitDTO> getPageLimitGroupList(Integer totalCount, Integer batchSizeLimit ) {
        log.info("这一次处理的总数据条数为 ={} 条, 每一批次处理条数为 ={} 条,现在开始做分批切割处理。",totalCount,batchSizeLimit);
        int pageNum = totalCount / batchSizeLimit;
        int surplus = totalCount % batchSizeLimit;
        if (surplus > 0) {
            pageNum = pageNum + 1;
        }
        List<PageLimitDTO> pageLimitGroupList =new LinkedList<>();
        for(int i = 0; i < pageNum; i++){
            Integer currIndex = i * batchSizeLimit;
            PageLimitDTO pageLimitDTO=new PageLimitDTO();
            pageLimitDTO.setPageSize(batchSizeLimit);
            pageLimitDTO.setCurrIndex(currIndex);
            pageLimitDTO.setDealDataCount(currIndex+batchSizeLimit);
            pageLimitGroupList.add(pageLimitDTO);
            log.info("分批切割,第={}次,每次={}条,最终会处理到={}条。",pageLimitGroupList.size(),batchSizeLimit,currIndex+batchSizeLimit);
 
        }
        log.info("这一次处理的总数据条数为 ={} 条, 每一批次处理条数为 ={} 条,总共切割分成了 ={} 次,一切准备就绪,可以开始批量插入。",totalCount,batchSizeLimit,pageLimitGroupList.size());
        return pageLimitGroupList;
    }

物理分页查询的mybatis sql写法示例(核心手动切割分页查询红色部分):

 代码:

    <select id="getPageList" resultMap="BaseResultMap">
        SELECT *
        FROM user
        <where>
            <if test="merchantId != null and merchantId != 0">
                and MERCHANT_ID = #{merchantId}
            </if>
            <if test="nameList != null and !nameList.isEmpty()">
                and NAME in
                <foreach collection="nameList" separator="," open="(" close=")" item="name">
                    #{name}
                </foreach>
            </if>
        </where>
        LIMIT #{currIndex} , #{pageSize}
 
    </select>

批量插入示例:

    <!--批量插入信息-->
    <insert id="batchSyncAdd" parameterType="java.util.List">
        insert into user(
        id,
        name,
        age
        )
        values
        <foreach collection="list" item="item" index="index" separator=",">
            (
            #{item.id,jdbcType=BIGINT},
            #{item.name,jdbcType=VARCHAR},
            #{item.age,jdbcType=INTEGER}
            )
        </foreach>
    </insert>

然后就是我们美如画的,手动批次切割查询插入:

当前方案作为抛砖引玉,还有比较多可优化的点,但是我不做扩展了,简单列举一下:

1. 每次切割分页查询,其实可以优化。 例如取上一次的id作为下一次的起始条件。
2. 同步异步的封装,可以更动态化。
3. 是否完全需要分批? 动态设置数据超过多少才开始分批切割,不超过,不需要走切割这些流程代码。

到此这篇关于Springboot 手动分页查询,分批批量插入数据的文章就介绍到这了,更多相关Springboot 分页查询内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • OpenFeign在传递参数为对象类型是为空的问题

    OpenFeign在传递参数为对象类型是为空的问题

    这篇文章主要介绍了OpenFeign在传递参数为对象类型是为空的问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-03-03
  • java中优化大量if...else...方法总结

    java中优化大量if...else...方法总结

    在我们平时的开发过程中,经常可能会出现大量If else的场景,代码显的很臃肿,非常不优雅,下面这篇文章主要给大家介绍了关于java中优化大量if...else...方法的相关资料,需要的朋友可以参考下
    2023-03-03
  • springboot配置加密的正确姿势分享

    springboot配置加密的正确姿势分享

    在Spring boot开发中,需要在application.yml文件里配置数据库的连接信息,或者在启动时传入数据库密码,如果不加密,传明文,数据库就直接暴露了,下面这篇文章主要给大家介绍了关于springboot配置加密的正确姿势,需要的朋友可以参考下
    2022-11-11
  • 手把手教你写一个SpringBoot+gRPC服务

    手把手教你写一个SpringBoot+gRPC服务

    本文将在本地环境下搭建gRPC客户端和服务端,并成功建立通讯发送消息的方式,从而帮助大家深入了解gRPC在Spring Boot项目中的应用,有需要的小伙伴可以参考下
    2023-12-12
  • Java实现pdf文件合并的使用示例

    Java实现pdf文件合并的使用示例

    本文主要介绍了Java实现pdf文件合并的使用示例,主要是将需要合并的pdf文件都拷贝到指定目录a中,调用该工具类将该目录作为第一个参数,第二个参数传入输出文件对象即可,感兴趣的可以了解一下
    2023-12-12
  • springboot中的RestTemplate使用详解

    springboot中的RestTemplate使用详解

    这篇文章主要介绍了springboot中的RestTemplate使用详解,RestTemplate继承自InterceptingHttpAccessor并且实现了RestOperations接口,其中RestOperations接口定义了基本的RESTful操作,这些操作在RestTemplate中都得到了实现,需要的朋友可以参考下
    2023-09-09
  • SpringCache使用案例详解

    SpringCache使用案例详解

    这篇文章主要介绍了SpringCache使用案例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2023-11-11
  • Java实现简单的抽牌游戏

    Java实现简单的抽牌游戏

    这篇文章主要为大家详细介绍了Java实现简单的抽牌游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-04-04
  • java压缩zip文件中文乱码问题解决方法

    java压缩zip文件中文乱码问题解决方法

    这篇文章主要介绍了java压缩zip文件中文乱码问题的解决方法,需要的朋友可以参考下
    2014-07-07
  • Java中为什么重写equals()也需要重写hashCode方法

    Java中为什么重写equals()也需要重写hashCode方法

    这篇文章主要介绍了Java中为什么重写equals()也需要重写hashCode(),本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-04-04

最新评论