mysql批量插入数据最快方法是什么？这4种方案哪个更高效？

背景

批量插入指的是通过单次数据库交互操作向 MySQL 服务器一次性插入多条数据记录的技术。与逐条插入相比，它能显著提升大数据量写入时的效率，其必要性主要体现在以下三个核心方面：

1.性能提升​（指的是响应时间）

在默认的逐条插入模式下，每条 INSERT语句都会带来完整的网络往返、SQL 解析、事务提交等开销。

当需要插入成千上万条数据时，这些开销会迅速累积，成为主要的性能瓶颈。

通过批量插入，可以将数百甚至数千条记录合并为一次操作，极大减少了这些重复性开销。

实验数据表明，批量插入的性能可以是逐条插入的数十倍甚至上百倍。

例如，插入 10,000 条数据时，逐条插入可能需要分钟级别的时间，而一个合适的批量插入方案可以在秒级甚至毫秒级完成。

2.​资源优化（指的是服务端资源）

• ​减少应用服务器与数据库服务器之间的网络往返次数，显著降低了网络延迟的影响。
• 在数据库服务器内部，减少了 ​SQL 语句的解析和编译次数，降低了 CPU 消耗
• 通过将多个写操作合并为更少的事务，大幅减少了磁盘 I/O​ 压力（主要是重做日志 Redo Log 的刷盘次数），并缩短了锁的持有时间，从而提高了数据库的并发处理能力

3.​应对特定场景需求​

在许多实际业务场景中，都存在需要快速写入大量数据的需求。

例如：

• 数据迁移与同步​：将数据从一个系统迁移到另一个系统，或定期从外部数据源同步数据
• 日志记录与分析​：应用系统产生的大量操作日志、行为日志需要实时或准实时地入库供后续分析。

批量任务处理​（多种场景的本质上都是批处理）：如电商平台的每日订单归档等

方案选型

方案一：单条 INSERT 语句插入多行值

这是最基础、最直接的批量插入方法，它通过一条 INSERT INTO ... VALUES ..., ..., ...语句一次性插入多条记录。

底层原理：

• SQL 处理​：MySQL 服务器只需对单条 SQL 语句进行一次解析、优化和执行计划生成。

• 事务处理​：整条 INSERT 语句被视为一个原子事务。如果未显式开启事务且 autocommit=1，MySQL 会在语句执行后自动提交，即仅有一次事务提交开销。

• 日志写入​：所有数据的修改被集中记录到重做日志 (Redo Log) 和二进制日志 (Binlog)，减少了日志块的切换和磁盘 I/O 次数。

• ​索引更新​：对于索引的更新，InnoDB 引擎可以更高效地进行。例如，对于自增主键，由于是顺序插入，可以最大限度地减少 B+ 树节点的分.裂和合并。但批量插入非顺序主键或更新多个二级索引时，仍可能带来随机 I/O

不足：

• SQL 长度限制​：受 MySQL max_allowed_packet参数限制，单次插入数据量有上限，否则会报错。

• 灵活性差​：整个批次成功或失败。如果一条数据不符合约束（如唯一键冲突），通常会导致整个批次失败回滚

// Java代码中拼接
StringBuilder sql = new StringBuilder("INSERT INTO users (name, email, age) VALUES ");
for (int i = 0; i < userList.size(); i++) {
    User user = userList.get(i);
    sql.append("('").append(user.getName()).append("', '")
       .append(user.getEmail()).append("', ").append(user.getAge()).append(")");
    if (i != userList.size() - 1) {
        sql.append(", ");
    }
}
Statement.execute(sql.toString())
 // 使用Mybatis时使用for-each标签拼接
  <insert id="batchInsert">
    INSERT INTO users (name, email, age) VALUES
    <foreach collection="list" item="user" separator=",">
        (#{user.name}, #{user.email}, #{user.age})
    </foreach>
</insert>

方案二：JDBC批处理

底层原理

Without rewriteBatchedStatements​：JDBC 驱动会简单地发送多条预处理语句，效果类似于逐条执行，性能提升有限。

With rewriteBatchedStatements=true​：这是性能关键。MySQL JDBC 驱动会进行“魔法”重写：

• 它会将 addBatch()积累的多组参数，​JDBC底层驱动重写为一条类似于 INSERT INTO ... VALUES (?,?,?), (?,?,?), ...的多值插入语句。
• ​只需要一次网络往返，就能将大批量数据发送到服务器，依然会收到max_allowed_packet网络包大小限制
• 服务器接收到的是一条高效的 SQL，只需解析一次，并在一个事务内完成所有数据的插入

不足：

• 需要缓存所有的参数（用于后续拼接SQL），需要关注于内存开销（特别是插入较大json的时候）

String sql = "INSERT INTO users (name, email, age) VALUES (?, ?, ?)";
PreparedStatement pstmt = conn.prepareStatement(sql);

conn.setAutoCommit(false); // 关闭自动提交，开启事务

for (User user : userList) {
    pstmt.setString(1, user.getName());
    pstmt.setString(2, user.getEmail());
    pstmt.setInt(3, user.getAge());
    pstmt.addBatch(); // 将一组参数加入批处理缓存
    
    // 每积累一定数量执行一次，防止缓存过大
    if (i % 1000 == 0) {
        pstmt.executeBatch();
        pstmt.clearBatch();
    }
}
pstmt.executeBatch(); // 不要忘了flush最后的缓存
conn.commit(); // 手动提交

pstmt.close();

方案三：MyBatis批处理

底层本质上依赖于jdbc批处理，只是在代码正常执行SQL时，SQL被MyBatis缓存起来，在事务提交时执行jdbc的executeBatch。

Mybatis只是对操作的包装，其代码实现更为简洁，而且性能接近于jdbc批处理，最为常用。

但是和jdbc使用时一样，其会在内存中sqlSession缓存所有对象和sql（本质上是已设置参数的 PreparedStatement对象），需要关注于内存开销

方案四：直接加载文件

切记，加载文件本身并不会暂停数据库的访问，但是会在对应的表上加锁（通常是表级的写锁），而且加载文件对MYSQL服务端来说就是一条命令，其一样要通过编译、语法解析等操作，并防在事务中执行。

底层原理​

LOAD DATA INFILE最快，是因为它几乎绕过了 MySQL 的 SQL 处理层。

直接解析文件​：MySQL 使用一个高度优化的专用程序来读取和解析数据文件，速度远快于解析 SQL 语句。

最小化日志记录​：该命令可以以最小化的方式记录日志，大大减少了 I/O 操作。

索引更新优化​：

• 类似于大批量 INSERT，它可以在插入前禁用键​（索引），插入完成后再重建索引，这比边插入边维护索引要高效得多
• 执行命令：ALTER TABLE users DISABLE KEYS;→ 导入数据 → ALTER TABLE users ENABLE KEYS;。

事务处理​：整个加载过程通常被视为一个事务，只需一次提交。

优点​

• 极致性能​：是所有方法中速度最快的，适合海量数据（百万、千万级）迁移或导入。
• 资源消耗低​：对数据库服务器 CPU 和内存的消耗相对较小。

缺点​

• 流程复杂​：需要先生成中间文件（文件需要上传到服务端，上传大文件是十分消耗网络带宽和IO的，更适合离线操作），再执行命令
• 灵活性最低​：任何数据格式错误都可能导致导入中断，错误处理不如程序灵活。
• 不适用于实时数据​：更适合离线或准实时的大批量数据导入，而不是业务逻辑中的实时插入

"LOAD DATA INFILE '/tmp/users.csv' " +
                 "INTO TABLE users " +
                 "FIELDS TERMINATED BY ',' " +
                 "LINES TERMINATED BY '\\n' " +
                 "(name, email, age)"

总结

在选择合适的 MySQL 批量插入方案时，需要从性能、可靠性、实现复杂度和具体业务场景等多个维度进行综合考量。每种方案有各自适合的场景，需要综合评估。

• 对于海量数据离线导入​（如数据仓库ETL、日志入库），​LOAD DATA INFILE​应作为首选方案
• 对于应用程序中常规的、需要高性能的批量插入需求​（如实时日志、消息批量落库），​配置了 rewriteBatchedStatements=true的 JDBC 批处理是最佳选择。它在性能、安全性和编程可控性上取得了最佳平衡
• ​MyBatis 的 ExecutorType.BATCH​ 是使用 MyBatis 框架对JDBC批处理的一个便捷封装
• ​单条多值 INSERT​ 适用于简单场景或小批量数据，但要警惕 SQL 注入风险和长度限制

通用优化策略​：

• ​批次大小 (Batch Size)​​：并非越大越好。建议将每批次处理的数据量控制在 ​500 - 5000​ 条之间，或根据数据行大小，使总 SQL 大小略小于 max_allowed_packet的一半（如默认 4MB 配置下，目标 1-2MB），以避免网络包过大和服务器内存压力。需要通过压测找到系统的最佳值
• ​事务管理​：​务必关闭自动提交，并显式地使用事务。将多个批次或多个操作放在一个事务中，可以显著减少事务提交带来的磁盘 I/O 开销
• ​索引优化​：对于超大规模数据插入，在插入前暂时移除非唯一性二级索引，插入完成后再重建，可以极大提升速度。因为维护索引的开销有时比插入数据本身还大
• ​参数调整​：根据服务器配置，适当调整 max_allowed_packet、innodb_buffer_pool_size、innodb_log_file_size等参数，为批量操作提供更多资源

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

最新评论