使用SpringBoot和JPA实现批量处理新增、修改

 更新时间:2023年06月26日 10:37:09   作者:procedure rabbit  
最近项目需要在JPA中使用ID进行批量更新,所以下面这篇文章主要给大家介绍了关于使用SpringBoot和JPA实现批量处理新增、修改的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下

jpa的sava与saveAll

save()方法

 @Transactional
    public <S extends T> S save(S entity) {
        if (this.entityInformation.isNew(entity)) {
            this.em.persist(entity);
            return entity;
        } else {
            return this.em.merge(entity);
        }
    }

根据源码我们可以看出来,save是先通过判断这个对象是不是新的,新的便会新增,否则就是执行的修改。整个是有分两步进行的,先查询再新增

saveAll()方法

  @Transactional
    public <S extends T> List<S> saveAll(Iterable<S> entities) {
        Assert.notNull(entities, "The given Iterable of entities not be null!");
        List<S> result = new ArrayList();
        Iterator var3 = entities.iterator();
        while(var3.hasNext()) {
            S entity = var3.next();
            result.add(this.save(entity));
        }
        return result;
    }

saveAll()方法是一种更新多条的一种方式,里面传的存对象的集合。分析源码我们可以看出saveAll()底层还是调用的save()方法,也就是每次需要先查询再做修改。在使用上方便,但是因每次涉及到查询、新增,事务的关系,导致修改或者新增耗时得非常的久。

那么下面我们将结合EntityManager对批量新增,修改做出优化。

jpa结合Batch

配置文件

spring:
  #配置 Jpa
  jpa:
    properties:
      hibernate:
        generate_statistics: false
        order_insert: true    //配置批量新增
        order_update: true    //配置批量修改
        dialect: org.hibernate.dialect.MySQL5InnoDBDialect
        jdbc:
          batch_size: 1000    //容器内批量的大小
    open-in-view: true

EntityManager

EntityManager其实就是一个容器,通过注解引入EntityManager对象 使用EntityManager对新增,修改进行批量处理

/**
 * @author 程序员panda
 * @date 
 * @desc 批量处理
 */
@Service
@Transactional
public class BatchService {
    @PersistenceContext
    private EntityManager entityManager;
	//配置文件中每次批量提交的数量
    @Value("${spring.jpa.properties.hibernate.jdbc.batch_size}")
    private long batchSize;
    /**
     * 批量插入
     *
     * @param list 实体类集合
     * @param <T>  表对应的实体类
     */
    public <T> void batchInsert(List<T> list) {
        if (!ObjectUtils.isEmpty(list)){
            for (int i = 0; i < list.size(); i++) {
                entityManager.persist(list.get(i));
                if (i % batchSize == 0) {
                    entityManager.flush();
                    entityManager.clear();
                }
            }
            entityManager.flush();
            entityManager.clear();
        }
    }
    /**
     * 批量更新
     *
     * @param list 实体类集合
     * @param <T>  表对应的实体类
     */
    public <T> void batchUpdate(List<T> list) {
        if (!ObjectUtils.isEmpty(list)){
            for (int i = 0; i < list.size(); i++) {
                entityManager.merge(list.get(i));
                if (i % batchSize == 0) {
                    entityManager.flush();
                    entityManager.clear();
                }
            }
            entityManager.flush();
            entityManager.clear();
        }
    }
}

实际运用

选择一个需要新增的table,将原有的saveAll(),改为调用自定义的batchInsert()方法

 public JSONObject sumbitPhone(MultipartFile phoneFile) {
        long timeIdStart = System.currentTimeMillis();
        JSONObject result=new JSONObject();
        List<CheckPhone> phoneList=getPhoneListEn(phoneFile);
        batchService.batchInsert(phoneList);
        result.put("code",200);
        result.put("msg","提交成功");
        logger.info("提交预校验数据用时:"+(System.currentTimeMillis() - timeIdStart) / 1000.0+"秒");
        return result;
    }

注意

使用batch批量新增的时候,表的主键不能使用自增的形式,需要使用uuid来才能使用批量的新增

运行时间对比

使用saveall()方法耗时(提交1000个号码文件) 从sql监控中可以看到,新增1000个号码,执行了7.962秒,执行了1000次的事务,都是一个个提交的

使用batch批量新增(同为1000个号码)此时执行,提交了两次,执行了两次事务。因为我设置了batch_size为1000。此时用是196毫秒。看一看出他是按999条数据,然后统一提交的

总结

到此这篇关于使用SpringBoot和JPA实现批量处理新增、修改的文章就介绍到这了,更多相关SpringBoot JPA批量处理新增修改内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 5分钟快速学会spring boot整合Mybatis的方法

    5分钟快速学会spring boot整合Mybatis的方法

    这篇文章主要给大家介绍了如何通过5分钟快速学会spring boot整合Mybatis的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用spring boot具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-12-12
  • 利用SpringMVC和Ajax实现文件上传功能

    利用SpringMVC和Ajax实现文件上传功能

    这篇文章主要为大家详细介绍了利用SpringMVC和Ajax实现文件上传功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-08-08
  • java中关于控件JTextArea的几个方法

    java中关于控件JTextArea的几个方法

    这篇文章主要介绍了java中关于控件JTextArea的几个方法,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-08-08
  • 一篇文章带你搞定 springsecurity基于数据库的认证(springsecurity整合mybatis)

    一篇文章带你搞定 springsecurity基于数据库的认证(springsecurity整合mybatis)

    这篇文章主要介绍了一篇文章带你搞定 springsecurity基于数据库的认证(springsecurity整合mybatis),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • java如何实现获取客户端ip地址的示例代码

    java如何实现获取客户端ip地址的示例代码

    本文主要介绍了java如何实现获取客户端ip地址,主要包括java获取客户端ip地址工具类使用实例、应用技巧,文中通过示例代码介绍的非常详细,感兴趣的小伙伴们可以参考一下
    2022-04-04
  • Java mybatis 开发自定义插件

    Java mybatis 开发自定义插件

    这篇文章主要介绍了Java mybatis开发自定义插件,MyBatis允许你在映射语句执行过程中的某一点进行拦截调用,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-08-08
  • 深度剖析Java中的内存原型及工作原理

    深度剖析Java中的内存原型及工作原理

    这篇文章主要介绍了深度剖析Java中的内存原型及工作原理,本文讲解了java虚拟机内存原型、常量池、Java内存分配中的栈、Java内存分配中的堆等内容,需要的朋友可以参考下
    2015-01-01
  • Spring MVC启动之HandlerMapping作用及实现详解

    Spring MVC启动之HandlerMapping作用及实现详解

    这篇文章主要为大家介绍了Spring MVC启动之HandlerMapping作用及实现详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-03-03
  • springboot 如何使用jackson来处理实体类

    springboot 如何使用jackson来处理实体类

    这篇文章主要介绍了springboot使用jackson来处理实体类的操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-10-10
  • Java之CMS和G1垃圾回收过程的异同说明

    Java之CMS和G1垃圾回收过程的异同说明

    CMS垃圾回收器主要基于并发-清理算法,目的是减少停顿时间,通过四个主要阶段进行垃圾回收:初始标记、并发标记、重新标记和并发清理,G1垃圾回收器采用标记-整理算法,是JDK9后的默认垃圾收集器,设计为全功能全代收集器
    2024-09-09

最新评论