详解PostgreSQL提升批量数据导入性能的n种方法
关键字：批量数据导入，数据加载，大量插入，加快，提升速度
多元化选择时代，人生里很多事物都是如此，凡事都没有一成不变的方式和方法。不管白猫黑猫，能抓老鼠的就是好猫，适合自己的就是最好的。
提升批量数据导入的方法亦是如此，没有何种方法是最优的，应用任何方法前根据自己的实际情况权衡利弊，做出选择。
批量导入数据之前，无论采取何种方式，务必做好相应的备份。
导入完成后亦需对相应对象进行ANALYZE操作，这样查询优化器才会按照最新的统计信息生成正确的执行计划。
下面正式介绍提升批量数据导入性能的n种方法。
方法1：禁用自动提交。
psql \set AUTOCOMMIT off 其他 BEGIN; 执行批量数据导入 COMMIT;
方法2：设置表为UNLOGGED。
导入数据之前先把表改成UNLOGGED模式，导入完成后改回LOGGED模式。
ALTER TABLE tablename SET UNLOGGED; 执行批量数据导入 ALTER TABLE tablename LOGGED;
优点：
导入信息不记录WAL日志，极大减少io，提升导入速度。
缺点：
1.在replication环境下，表无法设置为UNLOGGED模式。
2.导入过程一旦出现停电死机等会导致数据库不能干净关库的情况，数据库中所有UNLOGGED表的数据将丢失。
方法3：重建索引。
导入数据之前先删除相关表上的索引，导入完成后重新创建之。
DROP INDEX indexname; 执行批量数据导入 CREATE INDEX ...;
查询表上索引定义的方法
select * from pg_indexes where tablename ='tablename' and schemaname = 'schemaname';
方法4：重建外键。
导入数据之前先删除相关表上的外键，导入完成后重新创建之。
ALTER TABLE ... DROP CONSTRAINT ... ; 执行批量数据导入 ALTER TABLE ... ADD CONSTRAINT ... FOREIGN KEY ... REFERENCES ...;
相关信息可查询pg_constraint。
方法5：停用触发器
导入数据之前先DISABLE掉相关表上的触发器，导入完成后重新ENABLE之。
ALTER TABLE tablename DISABLE TRIGGER ALL; 执行批量数据导入 ALTER TABLE tablename ENABLE TRIGGER ALL;
相关信息可查询pg_trigger。
方法6：insert改copy
COPY针对批量数据加载进行了优化。
COPY ... FROM 'xxx';
方法7：单值insert改多值insert
减少sql解析的时间。
方法8：insert改PREPARE
通过使用PREPARE预备语句，降低解析消耗。
PREPARE fooplan (int, text, bool, numeric) AS INSERT INTO foo VALUES($1, $2, $3, $4); EXECUTE fooplan(1, 'Hunter Valley', 't', 200.00);
方法9：修改参数
增大maintenance_work_mem，增大max_wal_size。
方法10：关闭归档模式，降低wal日志级别。
修改archive_mode参数控制归档开启和关闭。降低wal_level值为minimal来减少日志信息记录。
此法需要重启数据库，需要规划停机时间。此外如有replication备库，还需考虑对其影响。
到此这篇关于PostgreSQL提升批量数据导入性能的n种方法的文章就介绍到这了,更多相关PostgreSQL批量数据导入内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了PostgreSQL 日志文件的所在位置，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-01-01
JSON（JavaScript Object Notation）是一种轻量级的数据交换格式,它采用键值对的形式来表示数据,支持多种数据类型,本文给大家介绍了如何在PostgreSQL中使用JSON数据类型,需要的朋友可以参考下2024-03-03
Mybatis调用PostgreSQL存储过程实现数组入参传递
这篇文章主要介绍了mybatis调用postgresql自定义函数传递数组参数的解决方案,具有一定的参考价值，感兴趣的小伙伴们可以参考一下2016-11-11
这篇文章主要介绍了postgresql 修改列类型操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-12-12
密码遗忘是常见的用户问题,因此提供一种安全的遗忘密码找回机制是十分必要的,这篇文章主要介绍了PostgreSQL数据库密码被遗忘时的操作步骤的相关资料,需要的朋友可以参考下2025-06-06
Vcenter清理/storage/archive空间的处理方式
通过SSH登陆到Vcenter并检查/storage/archive目录发现占用过高,该目录用于存储归档的日志文件和历史数据,解决方案是保留近30天的归档文件,这篇文章主要给大家介绍了关于Vcenter清理/storage/archive空间的处理方式,需要的朋友可以参考下2024-11-11
在使用 PostgreSQL 数据库时,可能会遇到存储空间不足的问题,这个问题不仅会影响数据库的正常运行,还可能导致数据丢失或应用程序出现故障,因此,了解如何应对这种情况至关重要,所以本文给大家就介绍了PostgreSQL数据库储存空间不足的解决方案,需要的朋友可以参考下2024-07-07
这篇文章主要介绍了postgresql 两表关联更新操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-01-01
PostgreSQL的generate_series()函数的用法说明
这篇文章主要介绍了PostgreSQL的generate_series()函数的用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-01-01
这篇文章主要介绍了postgresql的jsonb数据查询和修改的方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-03-03
最新评论