mysql sql大文件导入正确姿势

在 MySQL 中导入大文件时，mysql source 导入大文件速度太慢，可能会遇到性能问题或内存限制。以下是一些优化导入大文件的建议，需要的朋友可以参考一下

1. 使用 LOAD DATA INFILE

LOAD DATA INFILE 是 MySQL 提供的快速导入数据的方式，比逐条 INSERT 语句快得多。

LOAD DATA INFILE '/path/to/your/file.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS; -- 如果有标题行，可以忽略

2. 调整 MySQL 配置

如果文件非常大，可能需要调整 MySQL 的配置参数：

• max_allowed_packet: 增加允许的最大数据包大小。
• innodb_buffer_pool_size: 增加 InnoDB 缓冲池的大小，以提高性能。
• bulk_insert_buffer_size: 增加批量插入缓冲区的大小。

SET GLOBAL max_allowed_packet = 1G;
SET GLOBAL innodb_buffer_pool_size = 2G;
SET GLOBAL bulk_insert_buffer_size = 256M;

3. 分批导入

如果文件过大，可以将其拆分为多个小文件，分批导入。

4. 禁用索引和外键检查

在导入数据时，禁用索引和外键检查可以显著提高性能。

ALTER TABLE your_table DISABLE KEYS;
SET FOREIGN_KEY_CHECKS = 0;

-- 导入数据

ALTER TABLE your_table ENABLE KEYS;
SET FOREIGN_KEY_CHECKS = 1;

5. 使用命令行工具

可以使用 mysql 命令行工具导入数据：

mysql -u username -p database_name < /path/to/your/file.sql

6. 使用 mysqldump 和 mysqlimport

对于大型 SQL 文件，可以使用 mysqldump 导出数据，再使用 mysqlimport 导入。

mysqldump -u username -p database_name > backup.sql
mysql -u username -p database_name < backup.sql

7. 使用第三方工具

有一些第三方工具可以帮助导入大文件，如 pt-archiver 或 mydumper/myloader。

8. 优化表结构

确保表结构合理，避免不必要的索引和约束，以提高导入速度。

9. 使用事务

将多个 INSERT 语句放在一个事务中，可以减少提交次数，提高性能。

START TRANSACTION;

INSERT INTO your_table VALUES (...);
INSERT INTO your_table VALUES (...);
-- 更多 INSERT 语句

COMMIT;

10. 监控和调整

在导入过程中，监控系统资源使用情况（如 CPU、内存、磁盘 I/O），并根据需要调整配置。

通过这些方法，可以有效地导入大文件到 MySQL 数据库中。

11.解决方案

• 关闭二进制日志和事务自动提交
• 手动开启事务,导入数据
• 提交事务
• 重新开启二进制日志和事务自动提交

set sql_log_bin=off;
set autocommit=0;
start transaction;
source 文件.sql;
commit;
set sql_log_bin=on;
set autocommit=1;

到此这篇关于mysql sql大文件导入正确姿势的文章就介绍到这了,更多相关mysql 大文件导入内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

最新评论