SQL触发器是数据库系统中与表事件绑定的特殊存储过程,当表发生INSERT、UPDATE、DELETE等操作时,触发器会自动执行预设的逻辑。在数据集成场景中,它不需要额外的中间件就能实时捕获数据变更,是低成本实现数据变更监测的有效方案。
SQL触发器作为数据变更监测器的核心原理
触发器的工作依赖于数据库的事件驱动机制,当目标表的数据发生变更时,数据库会自动调用关联的触发器逻辑。作为数据变更监测器时,触发器的核心作用是把变更信息记录下来,供后续数据集成任务读取处理。
通常我们会为需要监测的表创建三类触发器,分别对应新增、修改、删除操作,所有触发器都会把变更数据写入到统一的变更日志表中,日志表需要包含以下核心字段:
- 变更ID:自增主键,标识变更顺序
- 表名:发生变更的表名称
- 操作类型:INSERT、UPDATE、DELETE三种类型
- 变更数据主键:对应变更记录的唯一标识
- 变更时间:操作发生的时间戳
- 处理状态:标识该变更是否已经被数据集成任务同步
数据集成中的典型应用场景
异构数据库同步
当需要将MySQL的业务数据同步到Elasticsearch做搜索,或者同步到数据仓库做分析时,可以通过触发器捕获业务表的变更,把变更记录写入日志表,然后定时任务读取日志表中未处理的记录,完成目标端的数据同步。
数据审计与溯源
在数据合规要求较高的场景,需要记录所有数据的变更历史。触发器可以在数据发生变更时,自动把旧值、新值、操作人等信息写入审计表,既满足数据溯源需求,也不会影响业务主流程的性能。
实时数据通知
当业务表发生关键数据变更时,比如订单状态更新、用户余额变动,触发器可以捕获变更后,通过调用数据库扩展函数发送消息到消息队列,通知下游系统做对应的业务处理。
不同数据库的实现示例
MySQL实现示例
首先创建变更日志表:
-- 创建变更日志表
CREATE TABLE data_change_log (
log_id INT PRIMARY KEY AUTO_INCREMENT,
table_name VARCHAR(100) NOT NULL,
op_type VARCHAR(10) NOT NULL,
record_id INT NOT NULL,
change_time DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,
process_status TINYINT NOT NULL DEFAULT 0
);
为业务表user_info创建INSERT触发器:
DELIMITER //
CREATE TRIGGER user_info_insert_trigger
AFTER INSERT ON user_info
FOR EACH ROW
BEGIN
INSERT INTO data_change_log (table_name, op_type, record_id)
VALUES ('user_info', 'INSERT', NEW.id);
END //
DELIMITER ;
创建UPDATE触发器:
DELIMITER //
CREATE TRIGGER user_info_update_trigger
AFTER UPDATE ON user_info
FOR EACH ROW
BEGIN
INSERT INTO data_change_log (table_name, op_type, record_id)
VALUES ('user_info', 'UPDATE', NEW.id);
END //
DELIMITER ;
创建DELETE触发器:
DELIMITER //
CREATE TRIGGER user_info_delete_trigger
AFTER DELETE ON user_info
FOR EACH ROW
BEGIN
INSERT INTO data_change_log (table_name, op_type, record_id)
VALUES ('user_info', 'DELETE', OLD.id);
END //
DELIMITER ;
PostgreSQL实现示例
变更日志表结构可以和MySQL保持一致,触发器函数实现如下:
-- 创建触发器函数
CREATE OR REPLACE FUNCTION log_user_info_change()
RETURNS TRIGGER AS $$
BEGIN
IF TG_OP = 'INSERT' THEN
INSERT INTO data_change_log (table_name, op_type, record_id)
VALUES ('user_info', 'INSERT', NEW.id);
RETURN NEW;
ELSIF TG_OP = 'UPDATE' THEN
INSERT INTO data_change_log (table_name, op_type, record_id)
VALUES ('user_info', 'UPDATE', NEW.id);
RETURN NEW;
ELSIF TG_OP = 'DELETE' THEN
INSERT INTO data_change_log (table_name, op_type, record_id)
VALUES ('user_info', 'DELETE', OLD.id);
RETURN OLD;
END IF;
END;
$$ LANGUAGE plpgsql;
-- 绑定触发器到表
CREATE TRIGGER user_info_change_trigger
AFTER INSERT OR UPDATE OR DELETE ON user_info
FOR EACH ROW EXECUTE FUNCTION log_user_info_change();
使用注意事项
虽然SQL触发器作为数据变更监测器实现简单,但是也有一些需要注意的问题:
- 触发器会增加数据库的操作开销,如果业务表变更非常频繁,需要评估对主业务性能的影响,必要时可以优化日志表的写入逻辑
- 触发器逻辑如果出现异常,可能会导致主表的变更操作失败,因此触发器内的逻辑要尽量简单,避免复杂的计算和耗时操作
- 变更日志表需要定期清理已经处理完成的记录,避免表数据量过大影响查询性能
- 如果数据库发生了主从切换,需要确认触发器的配置是否同步到了新的主库,避免变更监测中断
在实际的数据集成项目中,SQL触发器适合作为轻量级的变更监测方案,对于变更频率不高、对实时性要求较高的场景,能够用很低的成本实现需求。如果数据变更量极大,也可以结合数据库的binlog、WAL等机制做更优的方案选型。