mysql大批量插入数据的正确解决方法

 更新时间:2023年09月18日 09:35:18   作者:赵广陆  
这篇文章主要介绍了mysql大批量插入数据的正确做法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

1 批量插入和单条插入比较

如何快速的向数据库中插入已知的1000万条数据

​ 假设这1000W条数据在同一个集合里,那么将这个集合进行遍历,循环1000W次,结合数据库编程技术,如JDBC,就可以插入数据库,这么简单的操作,显然不是正确答案…

List<User> list = findAllUser();
Statement stat = conn.createStatement();
for (User u : list) {
	String sql = "INSERT INTO t_user (uname,age,email) VALUE ('"
                  +u.getUsername()+"',"+u.getAge()+",'"+u.getEmail()+"')";
	stat.addBatch(sql);
}
stat.executeBatch();
INSERT INTO t_user
      (uname,upwd,age,email)
VALUE 
      ('root1','123456',15,'root111@qq.com'),
      ('root2','123456',18,'root222@qq.com'),
      ('root3','123456',26,'root333@qq.com'),
      ....

​ 当两种方法配合使用,可以使用每条SQL语句插入100条数据,批处理每次发送1000条这样的数据,共循环100次即可。​ 理论上来说,批处理操作不建议一次性超过【5000】,每条SQL语句根据具体需求调整,不建议超过【100】,可以调整循环次数来改善效率。

下面为测试代码:

1.1 测试普通插入

@Test
public void testInsert() {
	UserDAO dao = new UserDAO();
	long t1 = System.currentTimeMillis();
	for(int i=0;i<10000000;i++) {
	    dao.insert(
                "INSERT INTO t_user (uname,pwd,age,email) VALUES ('root','123',15,'root@qq.com')");
	}
	long t2 = System.currentTimeMillis();
	int time = (int) ((t2-t1)/1000);
	System.out.println("共耗时:" + time +"秒")
}

测试结果:在尝试了几次,都被各种意外打断之后,我决定没有必要把数据全部插完,因为实在是太多了,不多说,上图吧

在这里插入图片描述

1.2 测试批处理配合拼接SQL语句插入

@Test
public void testBatch() throws SQLException {
	Connection conn = DBUtils.getConn();
	Statement stat = conn.createStatement();
long t1 = System.currentTimeMillis();
	for(int k=0;k<100;k++) {
	for (int i=0;i<1000;i++) {
			StringBuilder sql =new StringBuilder();
			sql.append("INSERT INTO t_user (uname,pwd,age,email) VALUES ");
			for (int j = 0; j < 100; j++) {				sql.append("('root','123',15,'root@qq.com'),");
			}
			stat.addBatch(sql.toString().substring(0,sql.lastIndexOf(",")))
		}
		stat.executeBatch();
	}
	long t2 = System.currentTimeMillis();
	int time = (int) ((t2-t1)/1000);
	System.out.println("共耗时:" + time +"秒");
}

测试结果:

img

结果显而易见了:第二种方案的执行效率远高于普通插入方法,不过,具体运行时间和电脑配置应该也有关系的,所以不用纠结时间长短,还是会用高效的方法就好了。

2 原理探究

应用服务器(程序运行所在服务器)与MySQL数据库服务器并不是同一台,当需要执行数据库操作时,会由应用服务器将SQL语句发送到MySQL数据库服务器,发送过程中就需要建立网络连接,才可以发送SQL语句,则总共需要连接1000W次,效率极低。

同时,每次执行SQL语句之前,MySQL服务器还会对SQL语句进行语法分析,语义分析,编译检查等才可以执行,假设最终有1000W条SQL语句,则这些过程需要耗费大量时间。针对这个缺陷,

可以使用【批处理】解决,减少连接数据库的次数,同时将单条插入语句改为一次插入多条数据以提高效率。

到此这篇关于mysql大批量插入数据的正确做法的文章就介绍到这了,更多相关mysql大批量插入数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • CentOS7下mysql 8.0.16 安装配置方法图文教程

    CentOS7下mysql 8.0.16 安装配置方法图文教程

    这篇文章主要为大家详细介绍了CentOS7下mysql 8.0.16 安装配置方法图文教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-05-05
  • MySQL数据库改名的详细方法教程

    MySQL数据库改名的详细方法教程

    在很多人看来Oracle数据库一旦建好后,数据库的名字就不能改变了,其实不然,下面这篇文章主要给大家介绍了关于MySQL数据库改名的相关资料,需要的朋友可以参考下
    2023-03-03
  • MYSQL表分区的实现示例

    MYSQL表分区的实现示例

    表分区是将表中的数据按照某种规则分散存储到多个分区中,每个分区可以独立地进行操作,例如查询、插入、更新和删除,下面就来介绍一下MYSQL表分区的实现
    2025-09-09
  • mysql分区表学习之日期分区

    mysql分区表学习之日期分区

    这篇文章主要给大家介绍了关于mysql分区表学习之日期分区的相关资料,分区是一种表的设计模式,通俗地讲表分区是将一大表,根据条件分割成若干个小表,需要的朋友可以参考下
    2023-08-08
  • 详解MySQL如何交换两列值数据

    详解MySQL如何交换两列值数据

    最近遇到了需要将表里的两列值进行互换,原因是存库时值存放反了,在编码语言中,我们一般可以通过定义一个临时变量c,将b赋值给c,a赋值给b,c赋值给a就能实现a和b的值互换,那么,在mysql中,非储存过程的sql语句,没有定义变量的过程,如何实现呢,接下来由小编给大家介绍一下
    2024-01-01
  • MySQL rownumber SQL生成自增长序号使用介绍

    MySQL rownumber SQL生成自增长序号使用介绍

    MySQL 几乎模拟了 Oracle,SQL Server等商业数据库的大部分功能,函数。但很可惜,到目前的版本(5.1.33)为止,仍没有实现ROWNUM这个功能
    2011-10-10
  • Mysql5 字符集编码问题解决

    Mysql5 字符集编码问题解决

    mysql 创建 数据库时指定编码很重要,很多开发者都使用了默认编码,但是我使用的经验来看,制定数据库的编码可以很大程度上避免倒入导出带来的乱码问题。
    2009-10-10
  • MySQL中处理大数据表的3种方案的实现与对比

    MySQL中处理大数据表的3种方案的实现与对比

    这篇文章主要为大家详细介绍了MySQL中处理大数据表的3种方案的实现与对比,文中的示例代码讲解详细,有需要的小伙伴可以根据需要进行选择
    2025-10-10
  • MySQL运行报错:“Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggre”解决方法

    MySQL运行报错:“Expression #1 of SELECT list is not in GR

    这篇文章主要给大家介绍了关于MySQL运行报错:“Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggre”的解决方法,文中将解决方法介绍的非常详细,需要的朋友可以参考下
    2022-06-06
  • 详解MySQL的内连接和外连接

    详解MySQL的内连接和外连接

    这篇文章主要介绍了详解MySQL的内连接和外连接,mySQL包含两种联接,分别是内连接(inner join)和外连接(out join),但我们又同时听说过左连接,交叉连接等术语,本文就带大家来了解一下,需要的朋友可以参考下
    2023-05-05

最新评论