在数据处理管道中,我们经常会遇到一种别扭的JSON结构:本应属于同一条记录的不同属性,被上游系统拆成了数组里的多个独立对象。例如一个订单的买家信息和卖家信息各自占数组中的一个元素,字段名不同但逻辑上属于同一层。直接用Java或Python硬写循环虽然能解决,但代码冗长且难以应对结构微调。JOLT作为一款声明式的JSON到JSON转换工具,非常适合用配置完成这类“数组拍平、对象合并”的任务。

一、问题场景与示例报文
假设上游返回如下报文,数组items中包含两个独立对象,一个带name和age,另一个带city和job。我们希望合并成顶层的一个对象,而不是保留数组形态。
{
"items": [
{
"name": "张三",
"age": 28
},
{
"city": "北京",
"job": "工程师"
}
]
}
如果下游系统期望的格式是{"name":"张三","age":28,"city":"北京","job":"工程师"},传统做法需要判断数组长度、依次读取键值并写入新对象。当字段增多或数组顺序不稳定时,代码维护成本明显上升。JOLT的优势在于把“怎么搬数据”写成一份JSON规则,引擎负责执行。
二、JOLT核心算子简介
JOLT的转换由一系列称为“算子(operation)”的步骤组成。处理数组合并最常用的是shift算子,它的作用是根据规则把输入JSON的节点映射到输出JSON的位置。另一个有用的算子是default,可在合并后填补缺省值。理解shift中的通配符与数组索引写法,是写好合并规则的关键。
[
{
"operation": "shift",
"spec": {
"items": {
"*": {
"*": "&"
}
}
}
}
]
上面这份规则中,items指向原数组,"*"匹配数组任意索引,内层"*"匹配对象任意字段名,右侧的&表示“使用匹配到的字段名作为输出key”。因为两个对象字段不重名,JOLT会将它们全部提升到输出根对象,自然完成合并。若字段重名,后处理的索引会覆盖前者,这点要在设计时规避。
三、完整可运行的转换示例
我们把前面的报文和规则放到一起,使用Java版的JOLT库演示。下面代码依赖com.bazaarvoice.jolt核心包,展示了如何加载spec并转换。
import com.bazaarvoice.jolt.Chainr;
import com.bazaarvoice.jolt.JsonUtils;
import java.util.List;
public class JoltMergeDemo {
public static void main(String[] args) {
String inputJson = "{"items":[{"name":"张三","age":28},{"city":"北京","job":"工程师"}]}";
String specJson = "[{"operation":"shift","spec":{"items":{"*":{"*":"&"}}}}]";
List<Object> spec = JsonUtils.jsonToList(specJson);
Chainr chainr = Chainr.fromSpec(spec);
Object output = chainr.transform(JsonUtils.jsonToObject(inputJson));
System.out.println(JsonUtils.toJsonString(output));
}
}
运行后控制台会打印{"name":"张三","age":28,"city":"北京","job":"工程师"},数组合并目标达成。此方式不需要关心数组里究竟有几个对象,只要字段不冲突就能合并。若实际业务中数组可能为空,可在shift之后追加default算子赋予默认值,避免下游空指针。
四、字段冲突与顺序控制
当数组中的多个对象存在同名key时,例如都带有id字段,简单使用&会导致后面的覆盖前面的。此时可在规则中利用数组索引区分,或先使用sort算子规整顺序。下面示例把索引拼进key以避免丢失:
[
{
"operation": "shift",
"spec": {
"items": {
"0": {
"*": "first_&"
},
"1": {
"*": "second_&"
}
}
}
}
]
这种写法明确指定了第0个和第1个元素的去向,输出会变成first_name、second_id之类,虽未完全合并但保留了全部数据。实际项目中若确认业务逻辑允许覆盖,则直接用通配即可;若不允许,应在接入层就约束上游格式,或在spec里做重命名映射。
五、调试与常见误区
新手常误以为shift里的&只能引用最近一层通配,其实它支持&0、&1这种带层级的写法,数字表示向上数第几层匹配。另一个误区是忘记JOLT默认输出是紧凑JSON,若需要格式化需自行调用工具方法。建议在开发阶段把中间每一步的输出打印出来,逐步确认spec是否符合预期。
[
{
"operation": "shift",
"spec": {
"items": {
"*": {
"name": "user.&",
"city": "user.&"
}
}
}
}
]
上例把name和city都映射到user对象下,由于&取的是字段名,最终得到user.name与user.city,展示了如何利用层级构造合并后的嵌套结构。掌握这些技巧后,把数组中的多个独立对象合并为单个对象就只是JOLT的常规操作。