逻辑复制 - 近期更新 - 第1页

导读：近期更新了《逻辑复制》的相关内容，包括《PostgreSQL中如何用pg_createsubscriber把物理备库转成逻辑订阅节点？》、《PostgreSQL逻辑复制中如何过滤继承表的数据？》、《如何将PostgreSQL CDC变更数据实时同步到RabbitMQ？》等内容。如果逻辑复制对你有帮助，请转发和分享。知识越分享越有价值，感谢你的每一次传递。

PostgreSQL中如何用pg_createsubscriber把物理备库转成逻辑订阅节点？

数据库迁移到新主库时，如果已经维护着一台物理流复制备库，通常还需要在目标端重新初始化逻辑订阅，这个过程既耗时又容易产生数据不一致。pg_createsubscriber 是 PostgreSQL 提供的一个命令行工具，它能直接利用物理备库的数据目录，把现有副本转换为新主库的逻辑订阅节点。工具...

栏目：PostgreSQL 时间：10-03 PostgreSQL pg_createsubscriber 逻辑复制

PostgreSQL逻辑复制中如何过滤继承表的数据？

发布一张父表后，为什么订阅端只能同步父表自身的行，子表里的数据却完全没被复制？这个问题在接触传统继承表的场景里经常被忽略。PostgreSQL 的逻辑复制并不会因为表之间存在 INHERITS 关系就自动扩展发布范围，发布父表只会精确选中该 OID 对应的物理表；而声明式分区表在 Postg...

栏目：PostgreSQL 时间：09-29 PostgreSQL 逻辑复制继承表

如何将PostgreSQL CDC变更数据实时同步到RabbitMQ？

在微服务拆分或数据集成场景里，把PostgreSQL的插入、更新、删除操作实时推送到RabbitMQ，是打通数据链路的关键一步。但PostgreSQL本身不直接提供消息队列适配器，很多团队会误以为必须引入Kafka作为中间层。实际上，借助PostgreSQL内置的逻辑复制机制，可以读取WAL中的行级变更，再...

栏目：PostgreSQL 时间：09-20 PostgreSQL CDC RabbitMQ 逻辑复制

PostgreSQL逻辑复制订阅端写入性能怎么优化？这几个关键点要掌握

逻辑复制是PostgreSQL实现数据同步的常用方案，但不少使用者发现订阅端应用日志的速度远不如预期，导致复制延迟持续增大。订阅端的写入性能受多方面因素影响，包括订阅工作进程数量、表上的约束与索引开销、apply进程的事务提交方式，以及work_mem、maintenance_work_mem等参数...

栏目：PostgreSQL 时间：09-13 PostgreSQL 逻辑复制订阅端性能

PostgreSQL max_logical_replication_workers参数是什么？如何合理配置逻辑复制工作进程

逻辑复制到某个并发上限后突然建不出新的订阅？十有八九是max_logical_replication_workers参数在背后起作用。这个参数控制着PostgreSQL中逻辑复制worker进程的总数上限，每个订阅至少占用一个worker，表同步阶段还会额外申请同步worker，默认值64看似够用，实际在多订阅、大分表...

栏目：PostgreSQL 时间：09-07 PostgreSQL 逻辑复制 max_logical_replication_workers

PostgreSQL逻辑复制过滤策略与安全标签如何避免敏感数据误同步

把逻辑复制过滤只当成减少同步量的开关，容易漏掉敏感数据越界这条红线。PostgreSQL发布端过滤、订阅端校验和安全标签投影要分层设计，才能让租户隔离、密级控制与复制链路保持一致。文章从发布端条件裁剪、列过滤、行级安全标签、可复制列投影、订阅端二次校验和审计日志入...

栏目：PostgreSQL 时间：09-07 PostgreSQL 逻辑复制安全标签

PostgreSQL逻辑复制如何过滤不需要同步的表？

逻辑复制是PostgreSQL实现跨库数据同步的常用方案，但实际业务中往往不需要把整个库的所有表都搬到订阅端。当库里表数量很多，或者部分表包含大量临时性、日志类数据时，全量同步不仅浪费带宽，还会拖慢订阅端的回放速度。本文围绕逻辑复制中的过滤机制展开，介绍通过Publication...

栏目：PostgreSQL 时间：09-06 PostgreSQL 逻辑复制 PUBLICATION

PostgreSQL逻辑复制如何过滤外部表？实现方法与避坑指南

逻辑复制遇到外部表时报错该怎么处理？PostgreSQL的发布订阅机制默认不支持外部表，但在某些混合架构场景下，数据表中同时存在普通表和外部表，直接创建发布会导致WAL日志解析失败，订阅端持续报错甚至中断同步。本文详细讲解逻辑复制的工作原理与发布订阅的关系，分析pg_publicatio...

栏目：PostgreSQL 时间：09-05 PostgreSQL 逻辑复制外部表

PostgreSQL逻辑复制如何实现精准的过滤策略分布？

逻辑复制是PostgreSQL 10之后原生支持的数据同步方案，但实际落地时几乎没人会整库全量搬运，更多场景是只同步部分表、部分行甚至部分列。这时过滤策略的分布就显得尤为关键：哪些规则该放在发布端的publication里，哪些该放在订阅端的订阅参数中，不同层级过滤的执行顺序和性能代...

栏目：PostgreSQL 时间：09-03 PostgreSQL 逻辑复制 PUBLICATION

PostgreSQL逻辑复制如何实现精准的表级和行级过滤？

逻辑复制是PostgreSQL实现跨版本数据同步和精细化解耦的重要能力，但默认订阅会拉取发布端全部已发布的数据，遇到只需要同步部分表、部分列或部分行的场景时，就需要借助复制过滤策略。本文围绕PUBLICATION的FOR TABLE、FOR ALL TABLES、发布列裁剪与row filter这几个核心机制...

栏目：PostgreSQL 时间：09-01 PostgreSQL 逻辑复制复制过滤

PostgreSQL逻辑复制如何实现数据过滤？常见过滤类型有哪些？

在构建分布式数据库架构时，不少工程师误以为PostgreSQL的逻辑复制只能全表同步数据，无法实现精细化过滤。其实，PostgreSQL提供了强大的逻辑复制过滤机制，允许我们在发布端精确控制需要同步的数据行和列。通过合理配置行级和列级过滤规则，可以有效减少网络带宽消耗，提升目标库的...

栏目：PostgreSQL 时间：08-30 PostgreSQL 逻辑复制数据过滤

PostgreSQL逻辑复制如何实现精准数据过滤？深入解析发布订阅规则

在配置PostgreSQL逻辑复制时，一个常见的误区是认为只要建立了发布和订阅关系，所有表的数据就会自动且完整地同步到目标端。实际上，在复杂的业务场景中，我们往往只需要同步部分表或者表中的特定数据。如果缺乏对过滤规则的合理配置，不仅会导致网络带宽浪费，还会引发目标库数据冗...

栏目：PostgreSQL 时间：08-28 PostgreSQL 逻辑复制数据过滤

PostgreSQL逻辑复制为什么不能自动同步DDL？如何解决同步限制？

在配置PostgreSQL逻辑复制时，你是否遇到过表结构变更导致复制中断的报错？逻辑复制作为PostgreSQL核心的高可用及数据同步机制，在处理DML操作时表现出色，但面对DDL语句却存在天然的同步限制。由于逻辑解码机制仅记录数据层面的变更，无法自动捕获并应用表结构修改，这给跨库数据同...

栏目：PostgreSQL 时间：08-27 PostgreSQL 逻辑复制 DDL同步

PostgreSQL逻辑复制中序列不同步该如何处理？

切换到逻辑复制后，主备两端表数据看起来完全一致，但一写入新数据就报主键冲突，这是序列未同步造成的典型现象。PostgreSQL 逻辑复制基于发布订阅机制，只会解码并重放表上的 INSERT、UPDATE、DELETE 等行级变更，序列的 last_value 属于系统目录状态，不会被作为复制事件发送。因...

栏目：PostgreSQL 时间：08-23 PostgreSQL 逻辑复制序列同步

PostgreSQL逻辑复制卡住了？如何通过pg_stat_subscription排查订阅状态？

PostgreSQL逻辑复制出现延迟却不知道具体卡在哪一步？当订阅端数据长时间未同步，盲目重启服务往往无法解决根本问题。此时我们需要借助pg_stat_subscription视图来精准定位订阅状态。该视图记录了逻辑订阅者的实时工作进程信息，包括接收工作进程和应用工作进程的最近一次事务...

栏目：PostgreSQL 时间：08-23 pg_stat_subscription 逻辑复制订阅状态

PostgreSQL逻辑复制过滤策略为何会发生降级？如何有效应对？

在配置PostgreSQL逻辑复制时，一个容易被忽视的陷阱是过滤策略的静默降级。你以为通过发布订阅机制精确控制了数据同步范围，但实际运行中却发现全表数据都被推送到了订阅端，或者某些预期的过滤条件根本没有生效。这种情况通常发生在过滤规则与发布端定义产生冲突时，系统不会报...

栏目：PostgreSQL 时间：08-19 逻辑复制过滤策略复制降级

PostgreSQL逻辑复制冲突解决：应用自定义处理

如果在PostgreSQL逻辑复制过程中，目标表已有相同主键的记录，apply进程会报错并停止同步。这种冲突看似小，却会挡住后续所有增量变更。有没有办法让复制通道根据业务规则自动校正错误，而不是等待人工介入？答案是肯定的。通过订阅端触发器、事务跳过机制以及冲突检测脚本，你可以...

栏目：PostgreSQL 时间：08-19 PostgreSQL 逻辑复制冲突处理

PostgreSQL逻辑复制如何实现表级与行级过滤策略？

逻辑复制在跨机房同步时，常因全量同步造成带宽浪费与冲突。PostgreSQL的发布订阅机制原生支持表级过滤，通过在创建发布时指定表清单即可限定同步范围。行级过滤则依赖REPLICA IDENTITY与行过滤器，结合带有WHERE条件的发布定义，仅推送符合条件的记录。相比传统触发器方案，内置...

栏目：PostgreSQL 时间：08-18 PostgreSQL 逻辑复制复制过滤

PostgreSQL逻辑复制如何实现离线场景下的数据过滤策略

在主库持续写入而从库长时间断连的离线场景中，逻辑复制的发布订阅机制默认会同步全量变更，容易造成从库数据膨胀与冲突。通过行过滤与列过滤发布，结合复制槽保留策略，可以在离线恢复后仅应用必要数据。本文说明如何利用REPLICA IDENTITY与WHERE条件构建发布端过滤，并分析离线...

栏目：PostgreSQL 时间：08-18 PostgreSQL 逻辑复制复制过滤

PostgreSQL逻辑复制环状复制如何防止数据循环回放

构建跨多节点的PostgreSQL逻辑复制环时，同一条变更会从源端绕一圈回到原点，若不加拦截就会反复重放导致数据膨胀和主键冲突。底层机制上，逻辑复制每条WAL记录都带有源头标识，但默认不会记录路由路径。常见误区是认为订阅端自动丢弃本节点已发出的数据，实际上必须依赖replica i...

栏目：PostgreSQL 时间：08-16 PostgreSQL 逻辑复制环状复制

PostgreSQL逻辑复制如何实现过滤策略并保证高可用？

逻辑复制把单表变更同步到远端时，如果不加过滤会让网络与存储成本翻倍。PostgreSQL提供发布端行列过滤与订阅端冲突处理两套机制，可在源头裁剪数据。高可用方面，结合流复制备库、slot同步与自动故障转移，能避免复制槽丢失导致的追数中断。本文梳理发布定义、过滤写法与多节点...

栏目：PostgreSQL 时间：08-15 PostgreSQL 逻辑复制高可用

PostgreSQL逻辑复制如何精准过滤分区表数据？

分区表在PostgreSQL里常用来承载海量数据，但逻辑复制默认会把整个父表及所有子分区的变更都同步出去。假设业务只需把订单表里最近半年的热分区推到报表库，其余历史分区根本不用复制，该怎么配？原生发布订阅在CREATE PUBLICATION时可用WHERE子句对普通表做行过滤，却无法直接针...

栏目：PostgreSQL 时间：08-13 PostgreSQL 逻辑复制分区表

PostgreSQL双向逻辑复制需要注意哪些关键事项？

在需要多点写入且要求数据实时一致的分布式场景中，PostgreSQL的逻辑复制提供了一种比流复制更灵活的方案。然而直接搭建双向逻辑复制并非开箱即用，它会在序列值冲突、自增主键碰撞、DDL同步、循环复制抑制等多个层面带来隐蔽的陷阱。如果事先没有设计好冲突解决策略，很容易...

栏目：PostgreSQL 时间：08-12 PostgreSQL 逻辑复制双向复制

PostgreSQL复制槽失效了如何安全清理？

PostgreSQL的复制槽是流复制与逻辑复制的核心，但异常终端、网络抖动或消费端故障常常导致复制槽滞留，疯狂堆积WAL日志，直至撑爆磁盘。一个常见的误区是直接执行pg_drop_replication_slot，却忽略了备库或订阅端可能仍在运行，粗暴删除将引发数据不一致甚至复制断裂。本文避开教...

栏目：PostgreSQL 时间：08-12 PostgreSQL 复制槽逻辑复制