PostgreSQL的WAL(预写式日志)是保证数据一致性的核心机制,每一个数据页的修改都会先写入WAL再落到磁盘。如果我们把这些WAL段文件持续归档到云上的对象存储桶,再配合一次基础备份,就能实现任意时间点恢复(PITR),这也是很多团队替代昂贵商业备份软件的方案。本文将从归档机制原理讲起,给出具体的配置方法和工具选择建议。

一、理解WAL归档的工作机制
PostgreSQL在数据目录下的pg_wal子目录中持续生成WAL段文件,默认每个段16MB。段文件写满后会切换到新段,旧段在不再被需要时(比如已经复制到备库、所有事务已经落盘)会被回收重用。所谓归档,就是在旧段被回收之前,把它拷贝到外部的持久化存储上。
归档行为由几个关键参数控制。wal_level需要设置为replica或更高,默认值即可满足归档需求;archive_mode设置为on打开归档开关;archive_command则指定具体执行拷贝的shell命令。PostgreSQL会为每个待归档的段调用一次archive_command,把文件路径通过%p占位符传入,目标文件名通过%f传入。
这里有一个非常关键的判定规则:archive_command的退出码为0表示归档成功,非0表示失败。失败的段不会被删除,PostgreSQL会不断重试,直到成功为止。这个机制保证了归档不丢数据,但也意味着如果目标存储长时间不可用,WAL段会在pg_wal目录里堆积,最终可能撑爆磁盘。所以监控pg_wal目录大小和归档延迟是运维的必修课。
二、通过archive_command配合命令行工具上传到对象桶
最经典的方案是用命令行工具在archive_command中完成上传。对于S3兼容的对象存储(包括AWS S3、MinIO、阿里云OSS的S3兼容接口、腾讯云COS等),常用工具有s3cmd、aws cli和rclone。下面以rclone为例,它的好处是配置一次后可以透明对接几乎所有的云厂商。
首先在数据库服务器上安装并配置rclone,编辑rclone.conf,填入对象桶的endpoint、access key和secret。然后修改postgresql.conf:
# postgresql.conf wal_level = replica archive_mode = on archive_command = 'rclone copy %p myoss:pg-wal-archive/%f' archive_timeout = 300
其中archive_timeout值得特别说明:如果数据库写入量不大,一个16MB的段可能很久都写不满,导致归档长期停滞。设置该参数后,即使段没写满,超过指定秒数也会强制切换并归档,保证恢复点不会落后太多。代价是会产生一些没有完全写满的段文件,占用归档存储空间,一般设置300到600秒是常见的折中。
归档命令必须具备幂等性,也就是同一个段被重复归档时不能报错。PostgreSQL官方建议命令先检查目标是否已存在。用test ! -f配合拷贝命令是标准写法。rclone的copy本身对已存在且内容相同的文件会跳过,天然满足幂等要求,这也是推荐它的原因之一。如果用s3cmd,可以写成如下形式:
archive_command = 'test ! -s /archive/backup/%f && s3cmd put %p s3://my-bucket/wal/%f'
另外要注意,archive_command是以postgres操作系统用户身份执行的,所以要确保该用户对rclone配置文件有读取权限,密钥文件权限建议设置为600。切勿把密钥直接写在命令行参数里,因为归档命令会出现在进程列表和日志中,存在泄露风险。
三、使用archive_library在数据库内原生归档
从PostgreSQL 15开始引入了archive_library参数,允许把归档逻辑写成C语言共享库直接加载到数据库进程中执行,避免了每次归档都fork一个shell的开销。PostgreSQL 16内置了基础的basic_archive库,PostgreSQL 17则带来了原生S3支持,这些新特性让归档配置变得越来越简洁。
以内置库为例,配置方式如下:
# PostgreSQL 16及以上 wal_level = replica archive_mode = on archive_library = 'basic_archive' basic_archive.archive_directory = '/mnt/nfs/wal_archive'
basic_archive本身只支持拷贝到本地目录,通常需要挂载NFS或者通过S3FS、s3fs-fuse等工具把对象桶挂载成目录来间接对接云存储。这种方式的优点是配置极简、不依赖外部命令行工具;缺点是挂载文件系统层的网络抖动会直接影响归档进度,排障时也要多考虑一层挂载的状态。相比之下,rclone直接走HTTP接口上传,链路更可控。两种方案各有利弊,生产环境建议根据团队的运维习惯选择,并在切换前充分测试重复归档和失败重试场景。
四、恢复流程与日常运维要点
归档的价值最终体现在恢复上。完整流程是:先恢复基础备份到数据目录,清空或备份原有的pg_wal目录,然后在数据目录下创建recovery.signal空文件,配置restore_command从对象桶拉取WAL段:
# postgresql.conf(恢复模式) restore_command = 'rclone copy myoss:pg-wal-archive/%f %p' recovery_target_time = '2024-06-01 12:00:00+08'
启动数据库后它会进入归档恢复模式,按需拉取WAL段回放,到达目标时间点后自动暂停,由DBA确认后再执行pg_wal_replay_resume()完成最终恢复。恢复演练一定要定期做,没有验证过的备份等于没有备份。
日常运维中有三件事必须落地:第一,监控归档延迟,可以查询pg_stat_archiver视图,对比archived_count和failed_count,失败的last_failed_wal要能触发告警;第二,监控pg_wal目录占用,防止归档失败导致磁盘写满引发数据库崩溃;第三,制定归档清理策略,已有过期基础备份覆盖的WAL段可以从桶中删除,结合对象存储的生命周期规则自动沉降到低频存储,可以显著压缩长期保存成本。把这些环节都做扎实,一套基于云对象桶的PostgreSQL备份体系就完整可用了。
PostgreSQLWAL归档云存储修改时间:2026-09-15 05:38:31