Hudi的MOR（Merge On Read）表采用日志文件和基础文件分离的存储结构，写入时先追加到日志文件，读取时再合并日志和基础文件，这种设计在提升写入吞吐的同时，也带来了读放大和compaction调优的问题。合理的参数配置能够有效平衡读写性能，适配不同的业务场景。
MOR表读放大产生的原因
读放大指的是查询时需要扫描的数据量远大于实际返回的数据量，MOR表的读放大主要来自两个方面。首先是日志文件的合并开销，当日志文件数量较多时，查询需要遍历所有相关日志文件再和基础文件合并，扫描的数据量会成倍增加。其次是小文件问题，如果compaction执行不及时，会产生大量小的基础文件和日志文件，查询时需要打开更多文件，增加IO开销。
compaction的工作机制
compaction是MOR表将日志文件合并到基础文件的操作，分为同步compaction和异步compaction两种模式。同步compaction会在写入时触发，会阻塞写入流程，适合对写入延迟不敏感的场景。异步compaction在后台执行，不影响写入性能，适合高吞吐写入场景。compaction的执行频率由多个参数共同控制，频率过高会增加存储写入开销，频率过低会加剧读放大。
调优核心参数说明
以下是影响读放大和compaction频率的关键参数：
| 参数名 | 默认值 | 参数说明 |
|---|---|---|
| hoodie.compact.inline | false | 是否开启同步compaction，true为同步，false为异步 |
| hoodie.compact.inline.max.delta.commits | 5 | 触发同步compaction的最大增量提交次数，值越小compaction频率越高 |
| hoodie.compaction.strategy | org.apache.hudi.table.action.compact.strategy.LogFileSizeBasedCompactionStrategy | compaction策略，默认基于日志文件大小触发 |
| hoodie.compaction.logfile.size.threshold | 104857600（100MB） | 日志文件大小阈值，超过该值会触发compaction |
| hoodie.datasource.read.merge.type | COMMON | 读取时的合并类型，可选COMMON、BOOLEAN、OPTIMIZED，OPTIMIZED模式可降低读放大 |
不同场景的调优方案
高写入吞吐场景
这类场景写入频率高，日志文件生成快，建议采用异步compaction，适当调大hoodie.compact.inline.max.delta.commits的值，比如设置为10到20，同时调大hoodie.compaction.logfile.size.threshold到200MB，减少compaction执行次数，避免影响写入性能。读取时设置hoodie.datasource.read.merge.type为OPTIMIZED，降低合并开销。
示例SQL配置如下：
-- 创建MOR表时设置异步compaction参数
CREATE TABLE hudi_mor_table (
id INT,
name STRING,
age INT,
ts TIMESTAMP
) USING hudi
TBLPROPERTIES (
'type' = 'mor',
'hoodie.compact.inline' = 'false',
'hoodie.compact.inline.max.delta.commits' = '15',
'hoodie.compaction.logfile.size.threshold' = '209715200'
);
-- 查询时设置合并类型降低读放大
SET hoodie.datasource.read.merge.type=OPTIMIZED;
SELECT * FROM hudi_mor_table WHERE age > 18;
低延迟查询场景
这类场景对查询响应时间要求高，需要控制读放大，建议开启同步compaction，将hoodie.compact.inline.max.delta.commits设置为3到5，日志文件大小阈值设置为50MB，保证日志文件及时合并，减少查询时的合并开销。如果写入量不大，同步compaction的阻塞影响可以接受。
示例配置如下：
-- 创建表时开启同步compaction
CREATE TABLE hudi_mor_table (
id INT,
name STRING,
age INT,
ts TIMESTAMP
) USING hudi
TBLPROPERTIES (
'type' = 'mor',
'hoodie.compact.inline' = 'true',
'hoodie.compact.inline.max.delta.commits' = '4',
'hoodie.compaction.logfile.size.threshold' = '52428800'
);
调优效果验证
调优后可以通过查询Hudi的元数据表验证效果，查看compaction的执行次数和日志文件数量。如果查询延迟明显下降，且compaction的执行没有造成写入性能大幅下跌，说明调优达到预期。如果写入性能下降过多，可以适当调大compaction的触发阈值，重新平衡读写性能。
另外需要注意，compaction策略也可以根据业务自定义，比如如果业务查询经常过滤某个分区，可以自定义策略优先合并热点分区的日志文件，进一步降低读放大。
Hudi_MOR表读放大compaction频率SQL调优修改时间：2026-06-17 23:51:33