PostgreSQL数据库如何定期清理归档(pg_wal)日志

 更新时间:2024年05月27日 09:28:58   作者:信息化战略  
在⼀般的⽣产环境中,数据库都需要开启归档模式,下面这篇文章主要给大家介绍了关于PostgreSQL数据库如何定期清理归档(pg_wal)日志的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下

运行了5个月的数据库,突然发现服务器磁盘快满了,一看是归档日志很大,打算写个脚本在不影响数据库运行的情况下定期清理PostgreSQL中的archive日志。

我的postgresql.conf中的归档日志配置(不做配置的话默认归档日志在pg_wal中):

archive_mode = on
archive_command = 'cp %p /home/archive/%f'

1. 清理方法

读取控制文件以确定可以清理的WAL(Write-Ahead Logging)文件范围。可以使用pg_controldata命令来获取这些信息。

pg_controldata $PGDATA

将显示当前可以删除的WAL文件的范围。

下图中表示:000000010000003700000007这个文件之前的文件都可以删除了

也可以通过pg_archivecleanup清理(前提是没有配置archive_command路径,使用默认路径pg_log)

执行如下命令将会清除000000010000003700000007之前的所有日志。

 pg_archivecleanup -d $PGDATA/pg_wal 000000010000003700000007

PS:我自己是直接用下面的脚本清理,很好用!定时任务:每周5的凌晨2点执行

0 2 * * 5 cd /home/scripts && ./wal_clean.sh >> ./logfile.log 2>&1

2. 定期清理archive日志脚本

#!/bin/bash

# 设置归档目录路径
archive_directory="/home/archive"
TIME="$(date +%Y-%m-%d-%H-%M)"
# 执行pg_controldata命令并提取Latest checkpoint's REDO WAL file的值
result=$(pg_controldata "$PGDATA" | grep "Latest checkpoint's REDO WAL file")
value=$(echo "$result" | awk '{print $6}')

# 输出结果
echo "时间:$TIME"
echo "Latest checkpoint's REDO WAL file: $value"

#查询15天之前的所有日志,判断是否存在未完成归档日志(一般查询1天以后的日志都是不存在的,根据自己需要修改),都可以直接删除
file=`find $archive_directory -type f -name "000*" -mtime +15 |grep $value`
if [ "$file" != "" ]; then
	echo "存在未完成归档的日志,不能删除"
	echo $file
	exit 1
else
	echo "可以清理已完成归档日志操作"
	#清理15天以前的归档日志
	find $archive_directory -type f -name "000*" -mtime +15 -exec rm {} \;
fi

附:在生产环境中,数据库都需要开启归档模式,那么PG该如何开始归档呢?

PG中归档配置涉及几个参数:

# - Archiving -  
  
#是否开启归档  
#archive_mode = off             # enables archiving; off, on, or always  
                                # (change requires restart)  
  
#归档命令,注意 %p  %f  %% 格式化的含义。  
#%p 是被归档的redo文件的路径,    
#%f 是被归档的redo文档的文件名     
#%% 是百分号  
#archive_command = ''           # command to use to archive a logfile segment  
                                # placeholders: %p = path of file to archive  
                                #               %f = file name only  
                                # e.g. 'test ! -f /mnt/server/archivedir/%f && cp %p /mnt/server/archivedir/%f'  
  
#超时强制归档,例:如果10分钟数据库都没有什么活动,一个redo文件没有写完,就不会归档,  
#但是我们希望数据库至少10分钟要切换一个日志,则可以使用archive_timeout  
#archive_timeout = 0            # force a logfile segment switch after this  
                                # number of seconds; 0 disables  

1、创建归档目录

[pg12@mambapg ~]$ mkdir -p $PGDATA/archive/

2、配置归档相关参数postgresql.conf

wal_level = replica
archive_mode = on
archive_command = 'test ! -f $PGDATA/archive/%f && cp %p $PGDATA/archive/$f'

3、重启数据库,然后查看归档配置是否生效

postgres=# select * from pg_settings where name in ('wal_level','archive_mode','archive_command');

总结 

到此这篇关于PostgreSQL数据库如何定期清理归档(pg_wal)日志的文章就介绍到这了,更多相关PostgreSQL定期清理归档日志内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Postgresql删除数据库表中重复数据的几种方法详解

    Postgresql删除数据库表中重复数据的几种方法详解

    本文详细讲解了Postgresql删除数据库表中重复数据的几种方法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-10-10
  • postgreSQL数据库基本概念教程

    postgreSQL数据库基本概念教程

    这篇文章主要为大家介绍了postgreSQL数据库的基本概念教程,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪
    2022-04-04
  • 本地计算机上的 postgresql 服务启动后停止的问题解决

    本地计算机上的 postgresql 服务启动后停止的问题解决

    这篇文章主要介绍了本地计算机上的 postgresql 服务启动后停止的问题解决,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • PostgreSql中ALL与ANY区别小结

    PostgreSql中ALL与ANY区别小结

    ALL和ANY是PostgreSQL中用于与子查询结果进行比较的强大操作符,本文主要介绍了PostgreSql中ALL与ANY区别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2025-11-11
  • 开源数据库postgreSQL13在麒麟v10sp1源码安装过程详解

    开源数据库postgreSQL13在麒麟v10sp1源码安装过程详解

    这篇文章主要介绍了开源数据库postgreSQL13在麒麟v10sp1源码安装过程详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-01-01
  • PostgreSQL设置时间自动更新的示例代码

    PostgreSQL设置时间自动更新的示例代码

    在我们日常开发中,在设计数据库字段的时候不可避免的都要created_time以及updated_time两个时间戳字段,作用大家也都一目了然,下面将为大家详细介绍PostgreSQL设置时间自动更新的方法,需要的朋友可以参考下
    2025-03-03
  • Linux系统安装PostgreSQL数据库及配置的详细过程

    Linux系统安装PostgreSQL数据库及配置的详细过程

    这篇文章主要给大家介绍了关于Linux系统安装PostgreSQL数据库及配置的详细过程,PgSQL(全称PostgreSQL)是一个功能强大的开源对象-关系型数据库系统,结合了许多安全存储和扩展最复杂数据工作负载的功能,需要的朋友可以参考下
    2023-12-12
  • PostgreSQL 重复数据处理的操作方法

    PostgreSQL 重复数据处理的操作方法

    这篇文章主要介绍了PostgreSQL 重复数据处理的操作方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-12-12
  • Windows 环境搭建 PostgreSQL 逻辑复制高可用架构数据库服务

    Windows 环境搭建 PostgreSQL 逻辑复制高可用架构数据库服务

    本文主要介绍Windows下搭建PostgreSQL的主从逻辑复制,关于PostgreSQl的相关运维文章,网络上大多都是 Linux 环境下的操作,鲜有在 Windows 环境下配置的教程,所以本文采用 Windows 环境作为演示系统来进行 PostgreSQL 高可用数据库服务的搭建,感兴趣的朋友一起看看吧
    2023-05-05
  • 安全高效的PostgreSQL数据库迁移解决方案

    安全高效的PostgreSQL数据库迁移解决方案

    PostgreSQL数据库是一款高度可扩展的开源数据库系统,支持复杂的查询、事务完整性和多种数据类型由于各种业务需求,企业常常需要将数据在不同的云平台或私有环境之间迁移,所以本文小编给大家介绍了安全高效的PostgreSQL数据库迁移解决方案,需要的朋友可以参考下
    2023-11-11

最新评论