SQLite的增量备份经常被误解成一条SQL命令就可以完成,但SQLite官方并没有一个叫做增量备份的独立功能。真正可行的方案通常是把在线备份API、WAL日志归档和会话扩展组合起来,根据恢复目标选择不同的组合方式。这样做的好处是备份过程不必停止写入,也不需要承担整库复制带来的存储压力。

一、先区分一致性快照和增量备份
如果一个数据库文件在写入过程中被直接复制,复制出来的副本可能包含未提交的事务,甚至出现页级的不一致。SQLite在滚动日志模式下会通过文件锁保护写入,但复制操作通常不参与这个锁协议,尤其是在网络文件系统上更容易出问题。WAL模式下情况更明显:最近提交的数据都在app.db-wal文件里,只复制app.db会丢失这些事务。所以第一件要做的事,是使用SQLite提供的在线备份API生成一致性快照。
Python标准库sqlite3模块内置了backup方法,它封装了C接口sqlite3_backup_init和sqlite3_backup_step。调用时源库可以继续读写,目标文件会逐步复制所有页。下面的脚本每次执行都会生成一个完整快照:
import sqlite3
def create_snapshot(source_path, target_path):
source = sqlite3.connect(source_path)
target = sqlite3.connect(target_path)
try:
source.backup(target)
finally:
target.close()
source.close()
if __name__ == '__main__':
create_snapshot('app.db', 'snapshot.db')
有了这个快照,就得到了一个可靠的基线。多数团队会把快照作为每日全量备份。但全量快照本身不能叫增量备份,它只是增量的基础。接下来可以在两个快照之间计算二进制差异,只保存差异块。数据库文件页大小固定,很多更新只影响少数页,因此差异文件通常比快照小得多。使用xdelta3或rsync的link-dest模式都可以完成这一工作。
这种差异方案对小型数据库非常实用,而且不依赖WAL模式。缺点是恢复时需要先合并基线快照和多个差异文件,差异链太长会降低恢复速度。因此需要配合定期全量快照,把差异链控制在一定长度内。
二、WAL日志归档:把每次提交的变化单独留下来
如果希望更细的恢复粒度,例如恢复到任意一分钟,就需要启用WAL模式并把wal文件纳入备份。SQLite在WAL模式下,写事务先追加到wal文件,只有检查点触发时才会把数据合并回主数据库文件。wal文件天然按提交顺序记录变化,这就是增量数据。
不过wal文件不能无限增长,SQLite默认在最后一次连接关闭时删除wal文件,或在自动检查点后截断。要让wal文件能被归档,必须阻止它被自动删除,并在归档前保留完整内容。C接口中可以通过sqlite3_file_control设置SQLITE_FCNTL_PERSIST_WAL,或者简单地在连接关闭前手动复制wal文件。下面是一个检查点控制的示例:
#include <sqlite3.h>
int main(void) {
sqlite3 *db = NULL;
int rc = sqlite3_open("app.db", &db);
if (rc != SQLITE_OK) return 1;
sqlite3_exec(db, "PRAGMA journal_mode=WAL;", 0, 0, 0);
sqlite3_exec(db, "PRAGMA wal_autocheckpoint=0;", 0, 0, 0);
int log = 0, ckpt = 0;
sqlite3_wal_checkpoint_v2(db, NULL, SQLITE_CHECKPOINT_PASSIVE,
&log, &ckpt);
sqlite3_close(db);
return 0;
}
实际归档时,推荐让应用保持一个长连接,定期执行被动检查点但不删除wal,然后把wal文件复制到带有时间戳的归档目录。恢复时,把基线数据库文件和归档目录中的wal文件按顺序放回原位置,SQLite打开数据库时会自动重放wal中的事务。需要注意wal文件是否与主数据库匹配,SQLite会在wal头部记录salt值,不匹配时会拒绝重放。
这个方案的优势是备份粒度和写入性能都很好,特别适合已经使用WAL模式的高并发场景。但维护成本也更高:需要确保归档wal文件的完整性,避免归档到一半时发生检查点;还需要定期清理过期归档,否则存储会持续增长。通常会配合每日全量快照,保留最近几天的wal归档。
三、Session扩展:直接生成行级变更补丁
如果不想保存整个wal文件,只希望记录哪些表的哪些行发生了变化,可以使用SQLite的Session扩展。它属于SQLite官方提供的扩展库,编译后可以在C或C++程序中直接调用。Session扩展会监听指定的表,记录插入、更新和删除操作,最终导出一个changeset。这个changeset就是非常精确的增量补丁。
与WAL日志相比,Session扩展生成的数据量通常更小,因为它只记录行变化,不记录索引页和内部管理页的变化。另一个好处是恢复时可以跨基线应用,只要表结构一致。下面是一段提取变更的C代码:
#include <sqlite3.h>
#include <sqlite3session.h>
int main(void) {
sqlite3 *db = NULL;
sqlite3_session *pSession = NULL;
int rc = sqlite3_open("app.db", &db);
if (rc != SQLITE_OK) return 1;
sqlite3session_create(db, "main", &pSession);
sqlite3session_attach(pSession, "users");
sqlite3session_attach(pSession, "orders");
int nChangeset = 0;
void *pChangeset = NULL;
sqlite3session_changeset(pSession, &nChangeset, &pChangeset);
FILE *f = fopen("incr_001.bin", "wb");
if (f != NULL) {
fwrite(pChangeset, nChangeset, 1, f);
fclose(f);
}
sqlite3_free(pChangeset);
sqlite3session_delete(pSession);
sqlite3_close(db);
return 0;
}
这个示例先把users和orders两张表挂到会话对象上,之后所有的写操作都会被Session扩展记录下来。调用sqlite3session_changeset时得到的是一个二进制补丁,可以直接写入文件作为本次增量。恢复时使用sqlite3changeset_apply函数,把补丁应用到基线数据库即可。如果同一张表有主键冲突或并发修改,还需要设置冲突处理回调,否则应用过程会在冲突时回滚。
Session扩展的局限性在于它需要应用层配合,必须在业务写操作之前创建会话对象,并保持会话生命周期覆盖所有写事务。对于已有系统,改造量比WAL归档更大,但换来的是最小体积的增量数据和灵活的恢复控制。适合频繁小批量写入、表数量较少的场景。
四、恢复顺序、验证与自动化策略
无论选择哪种增量方案,恢复动作都必须遵循严格的顺序。对于差异文件方案,先恢复最近的全量快照,再按时间从旧到新应用差异文件。对于WAL归档方案,先放置基线数据库文件,再把所有归档wal按序列放回,最后打开数据库让SQLite自动重放。对于Session补丁方案,先恢复基线,再按顺序调用sqlite3changeset_apply。顺序一旦颠倒,数据库可能直接损坏或出现逻辑错误。
备份完成后不能只检查文件是否存在,还要验证内容。全量快照可以使用PRAGMA integrity_check检查页结构和约束。WAL归档则要确认wal文件与数据库文件的salt值匹配,恢复后同样执行integrity_check。如果使用Session扩展,建议在应用补丁前后各做一次完整性检查。自动化任务里只要有一项验证失败,就应该保留旧备份并告警,而不是继续覆盖下一份归档。
自动化策略一般建议每日全量加每小时增量。全量快照通过Python的backup方法或sqlite3命令行.backup命令完成,增量则根据业务选择差异文件或wal归档。存储上保留最近7天的每日全量,再保留最近24小时的每小时增量,可以在恢复粒度和存储成本之间取得平衡。定期做恢复演练比实现备份本身更重要,很多SQLite备份问题到真正恢复时才会暴露。
SQLite增量备份SQLite备份WAL日志归档修改时间:2026-11-02 08:27:48