java数据库批量插入数据的实现
更新时间：2024年05月15日 08:29:22 作者：深夜无眠T
本文主要介绍了java数据库批量插入数据的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
前言
本篇文章将记录几种使用java向mysql数据库中批量插入数据的方法，比如插入1000条，10000条，10万条甚至100万条数据。操作数据库的方式采用Mybatis框架。
输入的数据：
现数据库有一个student表，表中字段如下：
编写student实体类，及其controller和dao层，因为只是插入数据所以不需要加service层。
方法一
最简单的方法就是利用循环，不断执行单条数据的插入指令。
因此在dao中写一个insertStudent方法，并在xml文件中编写sql语句
void insertStudent(Student student);
<insert id="insertStudent" parameterType="com.example.bootdemo.entity.Student">
insert into student (s_name,s_birth,s_sex) values (#{s_name},#{s_birth},#{s_sex})
</insert>随后在controller中编写循环条用该方法，比如循环插入1000条数据，代码如下：
@ResponseBody
@RequestMapping("/insertstudent")
public Integer insertStudent(){
System.out.println("开始插入");
long start = System.currentTimeMillis();
/**
* 依靠循环插入
*/
for (int i = 0; i < 1000; i++) {
Student student = new Student();
student.setS_birth("20230206");
student.setS_name("zjd");
student.setS_sex("男");
studentDao.insertStudent(student);
}
long end = System.currentTimeMillis();
System.out.println("耗时："+(end-start));
return 1;
}这种方式虽然可以实现，但是效率比较慢，因为每次执行插入都要执行一次sql，速度很慢。
方法二
在所有要插入的数据放在列表中，并在sql中利用foreach进行批量插入。这样执行一次sql就可以插入很多数据。
xml编写中编写sql
<insert id="batchInsertStudent" parameterType="java.util.List">
insert into student (s_name,s_birth,s_sex) values
<foreach collection="students" item="student" index="index" separator=",">
(
#{student.s_name},
#{student.s_birth},
#{student.s_sex}
)
</foreach>
</insert>将数据方法List中执行sql语句。
@ResponseBody
@RequestMapping("/insertstudent")
public Integer insertStudent(){
System.out.println("开始插入");
long start = System.currentTimeMillis();
/**
* 批量插入，大量数据时不推荐使用
*/
List<Student> students = new ArrayList<>(count);
for(int i=0;i<count;i++){
Student student = new Student();
student.setS_name("zjd"+i);
student.setS_birth("20230206");
student.setS_name("zjd");
student.setS_sex("男");
students.add(student);
}
studentDao.batchInsertStudent(students);
long end = System.currentTimeMillis();
System.out.println("耗时："+(end-start));
return 1;
}这两种方法在数据量很大时都不推荐使用，第一种会很慢，第二种可能会因为数据过多，sql执行失败，直接报错。
方法三
既然第二种在插入大量数据时会报错，那么面对大量数据，我们可以将其分批插入，比如我可以每次直插入3000条数据，执行多次就可以实现大量数据的插入。
代码如下：
@ResponseBody
@RequestMapping("/insertstudent")
public Integer insertStudent() throws InterruptedException {
System.out.println("开始插入");
long start = System.currentTimeMillis();
CountDownLatch countDownLatch = new CountDownLatch(6);
for(int i=0;i<6;i++){
List<Student> students = new ArrayList<>(count);
int tempCount = 0;
for(int n=0;n<count;n++){
if(tempCount==2999){
studentDao.batchInsertStudent(students);
tempCount=0;
students.clear();
}
Student student = new Student();
student.setS_name("zjd"+i);
student.setS_birth("20230206");
student.setS_name("zjd");
student.setS_sex("男");
students.add(student);
tempCount++;
}
studentDao.batchInsertStudent(students);
long end = System.currentTimeMillis();
System.out.println("耗时："+(end-start));
countDownLatch.countDown();
}
countDownLatch.await();
return 1;
}这样速度也会比单条循环插入要快很多。
到此这篇关于java数据库批量插入数据的实现的文章就介绍到这了,更多相关java 批量插入内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
Spring Cloud @RefreshScope 原理及使用
这篇文章主要介绍了Spring Cloud @RefreshScope 原理及使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
这篇文章主要介绍了intellij idea tomcat热部署配置教程图解，非常不错，具有一定的参考借鉴价值，需要的朋友参考下吧2018-07-07
这篇文章主要介绍了feign微服务之间传递请求头数据方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2026-03-03
这篇文章主要介绍了详解JavaScript中的函数声明和函数表达式,是JS入门学习中的基础知识,需要的朋友可以参考下2015-08-08
这篇文章主要介绍了详解Java虚拟机管理的内存运行时数据区域的相关资料,需要的朋友可以参考下2017-03-03
这篇文章主要介绍了SpringBoot整合Lettuce redis过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-10-10
SpringBoot中Controller的传参方式详细讲解
这篇文章主要介绍了SpringBoot在Controller层接收参数的常用方法，Controller接收参数的常用方式总体可以分为三类，第一类是Get请求通过拼接url进行传递，第二类是Post请求通过请求体进行传递，第三类是通过请求头部进行参数传递，下面我们来详细看看2023-01-01
这篇文章主要为大家介绍了Guava范围类Range方法实例深入解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-12-12
本文主要介绍了基于Springboot实现的疫苗接种行程管理系统的示例代码，系统主要实现个人疫苗接种管理、行程管理、病史管理、风险地区管理、核酸检测报告结果上报、疫情新闻管理等功能，需要的可以参考一下2022-03-03
本篇文章主要介绍了Java中用Socket实现HTTP文件上传实例，详细的介绍了通过读取Socket的输入流来实现一个文件上传的功能，有兴趣的同学可以一起了解一下2017-04-04
最新评论