PostgreSQL pg_archivecleanup与清理archivelog的操作

更新时间：2021年01月11日 10:48:49 作者：Austindatabases

这篇文章主要介绍了PostgreSQL pg_archivecleanup与清理archivelog的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

pg_archivecleanup 和 pg_rewind 是PG 中两个重要的功能，一个是为了清理过期的 archive log 使用的命令，另一个是你可以理解为物理级别的 wal log的搬运工。

我们先说第一个 pg_archivecleanup 命令，这个命令主要是用于使用了archive log 功能的 postgresql 但在 archive log 堆积如山的情况下，你怎么来根据某些规则，清理这些日志呢？

这里面就要使用 pg_archivecleanup 这个命令了，可以定时的来运行它，将已经移动到archivecleanup 的目录的archivelog 根据要求开始清理。

当然我们先的说说如果不定期清理会出什么问题

1 如果不定期清理archive 如果存放archivelog 的位置无法在接受新的日志，则大量WAL日志会滞留在 wal_log 目录中，则整体数据库系统都会受到影响。

2 占用大量的存储空间，存储无效的数据

那一般来说如果没有第三方的备份工具的情况下，怎么来通过pg_archivecleanup 来进行archivelog 的清理。

需要关注几个点

1 清理的时，清理的WAL_LOG 是否已经是包含在最后一次的备份中，保证清理的WAL_LOG 也可以从备份文件中恢复数据库

2 清理的时候，对于保存在非主库的wal_log 怎么办

一般来说，设置自动清理archive_log 可以在配置文件中添加

archive_cleanup_command = 'pg_archivecleanup archivelocation %r'

来操作。

但一般来说这样做好处少，弊病多，我比较喜欢写相关的脚本，定时去运行的方式，并且可以记录相关的LOG 日志等等。

可以写一个脚本，来辅助定时清理相关的archive_log

当然这样的方法也是有弊端的，如果由于备份的原因的故障，而直接使用天数来清理会有因为没有备份而直接将 wal_log 给清理掉，所以更加靠谱的方法是通过某些命令来获得需要截止的清理的Wal_log 名称。

例如备份后的

会在wal_log 里面有backup 的标记，这说明这个WAL log 以前的数据已经备份了，如果清理这个WAL LOG 之前的log 是安全的。

000000010000000300000030.00000060.backup

使用下面的脚本可以来更安全的清理

#!/bin/bash 
ARCHIVEDIR='/pgdata/archive'
CHK_SAFE=$(find $ARCHIVEDIR -type f -mtime +3 -name '*backup' -printf '%f\n' | sort -r | head -1)
cd $ARCHIVEDIR
/usr/local/postgres/bin/pg_archivecleanup $ARCHIVEDIR $CHK_SAFE 
find $ARCHIVEDIR -type f -mtime +3 -a -name '*backup' -a ! -newer $CHKPOINT -delete

补充：postgresql流日志误删处理（xlog）

今天同事误删postgresql库数据文件下的pg_xlog文件夹，导致所有流日志丢失，数据库无法启动,观察警告日志：

2018-03-12 18:45:54 CST LOG: database system shutdown was interrupted; last known up at 2018-03-12 17:48:27 CST
2018-03-12 18:45:54 CST LOG: could not open file "pg_xlog/000000010000001400000060" (log file 20, segment 96): No such file or directory
2018-03-12 18:45:54 CST LOG: invalid primary checkpoint record
2018-03-12 18:45:54 CST LOG: could not open file "pg_xlog/000000010000001400000060" (log file 20, segment 96): No such file or directory
2018-03-12 18:45:54 CST LOG: invalid secondary checkpoint record
2018-03-12 18:45:54 CST PANIC: could not locate a valid checkpoint record
2018-03-12 18:45:54 CST LOG: startup process (PID 32680) was terminated by signal 6: Aborted
2018-03-12 18:45:54 CST LOG: aborting startup due to startup process failure

用postgresql自带的pg_resetxlog工具可以跳过对WAL log的恢复。不过会丢失一些事务。恢复命令也很简单如下：

pg_resetxlog -f /var/lib/pgsql/9.6/data

然后启动postgrsql ,数据库就可正常进入

参考：pg_resetxlog官方文档

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。

您可能感兴趣的文章:

postgresql 常用SQL语句小结
postgresql使用过程中常用到的一些sql语句，方便我们快速使用查询一些操作特整理一下，方便需要的朋友
2022-11-11
PostgreSQL数据DML误操作恢复方法
PostgreSQL是一种开源的对象关系型数据库管理系统,其DML（Data Manipulation Language）负责数据的操作和管理,那么如何DML误操作了如何恢复,所以本文介绍了PostgreSQL数据DML误操作恢复方法,需要的朋友可以参考下
2024-12-12
PostgreSQL实现按年、月、日、周、时、分、秒的分组统计
这篇文章介绍了PostgreSQL实现按年、月、日、周、时、分、秒分组统计的方法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-06-06
PostgreSQL如何根据字符串的长度排序
在PostgreSQL数据库中,可以通过LENGTH函数获取字符串的长度,并据此进行排序,LENGTH函数会计算并返回字符串的字符数量,要根据字符串长度进行升序排序,可以在SQL查询中直接使用LENGTH函数,本文介绍PostgreSQL如何根据字符串的长度排序,感兴趣的朋友一起看看吧
2024-11-11
PostgreSQL设置主键从1开始自增的详细步骤
和MySQL不同,在 PostgreSQL 中,设置主键从1开始自增并重新开始自增是通过序列（sequence）来实现的,本文给大家分享PostgreSQL设置主键从1开始自增的详细步骤,感兴趣的朋友一起看看吧
2023-11-11
PostgreSQL 对数组的遍历操作
这篇文章主要介绍了PostgreSQL 对数组的遍历操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2021-01-01
Postgresql分布式插件plproxy的使用详解
这篇文章主要介绍了Postgresql分布式插件plproxy的使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2021-01-01
查询PostgreSQL中所有表逻辑外键的方法
本文介绍了如何查询PostgreSQL中所有表的逻辑外键，并指导您如何先删除再重新建立这些外键，本文通过示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友一起看看吧
2023-08-08
史上最全PostgreSQL DBA最常用SQL
这篇文章主要介绍了PostgreSQL DBA最常用SQL ,主要包括背景及常用查询语句，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-10-10
postgres 实现查询某条数据的排名
这篇文章主要介绍了postgres 实现查询某条数据的排名，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-12-12