Debezium 的 Oracle 连接器并不直接读取表数据，而是借助 Oracle LogMiner 或 XStream API 分析在线重做日志与归档日志，将行级 INSERT、UPDATE、DELETE 操作转换成结构化事件发送到 Kafka。整个过程对源库侵入较小，但要求开启归档日志和补充日志，否则无法捕获完整变更。实际...

栏目：Oracle 时间：10-03 Debezium Oracle变更数据捕获 CDC

订单状态更新后，下游库存系统为什么总是延迟才同步？依靠定时轮询数据库虽然简单，但会把数据库压力拉高，而且无法保证秒级一致性。CDC（Change Data Capture，变更数据捕获）直接从数据库事务日志中读取增量变化，能在低侵入的前提下获得实时变更流。Debezium 作为开源的 CDC 组件，支持...

栏目：Spring Boot 时间：10-03 Spring Boot Debezium CDC数据变更捕获

如果你还在用Sqoop的时间戳增量把PostgreSQL数据拉到Hive，那很可能已经踩到了删除和更新丢失的坑——Sqoop只能根据某个递增字段做批量抽取，无法识别DELETE，也无法还原UPDATE的中间状态。真正意义上的CDC需要借助数据库的逻辑复制机制，把INSERT、UPDATE、DELETE都转换成事件...

栏目：PostgreSQL 时间：09-24 PostgreSQL CDC Hive同步 Debezium

PostgreSQL 的 WAL 日志不仅能做崩溃恢复，还能通过逻辑解码输出行级变更，这给数据库同步和事件驱动架构留出了很大的操作空间。Debezium 作为 Kafka Connect 生态中的 CDC 连接器，会把 PostgreSQL 的 insert、update、delete 操作实时转成 Kafka 消息，下游业务系统只要订阅对...

栏目：PostgreSQL 时间：09-20 PostgreSQL CDC Debezium Kafka

Debezium采集到的变更事件默认嵌套了before、after、source等多层结构，下游消费端拿到消息后往往还要二次解析才能使用。借助Kafka Connect提供的SMT即单消息转换能力，可以在数据进入Kafka之前就把事件拍平，只保留业务字段的最新值。本文围绕事件扁平化这一需求展开，介绍Extr...

栏目：PostgreSQL 时间：09-09 Debezium SMT 事件扁平化

在基于CDC构建数据同步链路时，快照模式直接决定了存量数据如何处理。initial会在连接器首次启动时对全表做一次性扫描并发送所有行，适合空目标库或需要完整基准的场景。when_needed则只在无偏移量元数据时才触发快照，若已有位点则跳过，避免重复搬运历史数据。两者在Kafka top...

栏目：PostgreSQL 时间：08-17 Debezium initial when_needed

把业务库里的数据变动实时同步到消息队列，往往卡在连接器参数这块。Debezium的PostgreSQL连接器依赖逻辑解码插件与复制槽，若slot配置不当会导致WAL无限膨胀。本文厘清database.server.name、plugin.name与publication.autocreate等核心属性的作用，说明如何通过schema.inclu...

栏目：PostgreSQL 时间：08-16 Debezium PostgreSQL CDC

Java开发中实现数据实时捕获是很多业务场景的核心需求，Debezium结合Kafka CDC是主流的解决方案。本文将从环境准备开始，逐步讲解如何搭建完整的Debezium与Kafka CDC环境，包括Kafka集群部署、Debezium连接器配置、Java端消费CDC数据的完整流程。内容覆盖常见数据库适配、配置...

栏目：Java 时间：07-04 Debezium Kafka_CDC Java开发 数据捕获