3D-LLM自提出以来，一直被视为连接三维视觉与自然语言的桥梁。它能够对室内场景进行描述、回答关于物体属性的问题，甚至在导航任务中给出指令。然而当我们把问题换成“椅子在桌子的哪一侧”“柜子是否紧贴墙壁”这类空间推理任务时，模型的准确率往往大幅下滑，有些情况下甚至不如随机猜测。这种空间推理能力的薄弱并非个例，而是当前3D-LLM架构与训练范式的系统性短板，值得深入拆解。
空间推理弱的两大根源：对齐不足与数据稀缺
第一个根源在于多模态对齐的粒度不够。当前主流的3D-LLM大多沿用2D-LLM的投影范式，即先把点云通过编码器压缩成一组特征 token，再通过线性投影层喂给大语言模型。这种做法在语义层面勉强够用，但空间信息在压缩过程中损失严重。语言模型看到的是一堆已经“摊平”的特征向量，它无法从中还原出物体在三维坐标系中的真实位姿，自然也就无法进行可靠的空间关系判断。
第二个根源更加直接：训练数据中空间描述的比例太低。以常用的ScanNet和ScanRefer数据集为例，其中涉及“左侧”“上方”“之间”这类空间关系词汇的描述只占总样本的一小部分，而且大多数标注只到物体级别的语义，没有包含旋转、朝向等6D位姿信息。模型在训练阶段就没有见过足够多的空间关系样本，推理时表现差是必然结果。
此外，语言模型本身对空间词汇的理解也偏弱。语言模型在预训练阶段学到的“左边”“右边”往往基于文本语境，而非几何坐标系。当3D场景中物体的方位需要以某个观测视角为参照系时，模型经常混淆自身视角与全局坐标系，导致回答的方向完全颠倒。
多模态对齐的改进策略
针对对齐不足的问题，业界已经探索出几条有效路径。第一条是引入显式的空间 token。与其让语言模型自己去猜测几何关系，不如在编码阶段就把空间信息显式表达出来。具体做法是在点云特征之外，额外附加每个物体检测框的中心坐标、尺寸和朝向角，将这些数值离散化为特殊 token 拼接到输入序列中。
import torch
class SpatialTokenEncoder(torch.nn.Module):
def __init__(self, hidden_dim=256):
super().__init__()
# 将连续坐标离散化为空间token的映射层
self.coord_embed = torch.nn.Linear(9, hidden_dim) # 中心xyz + 尺寸xyz + 朝向yaw/pitch/roll
self.norm = torch.nn.LayerNorm(hidden_dim)
def forward(self, box_params):
# box_params: [batch, num_objects, 9]
spatial_tokens = self.norm(self.coord_embed(box_params))
return spatial_tokens # 与点云特征token拼接后送入LLM
第二条路径是强化2D与3D特征的交叉注意力。纯点云编码器提取的几何特征缺乏语义，而2D视觉语言模型（如CLIP）已经在海量图文对上学会了丰富的语义先验。一个实用的方案是把多视角的2D特征通过相机参数反投影回3D空间，与点云特征做融合，让每个3D token 同时携带几何和语义信息。
第三条路径是对齐损失的设计。很多3D-LLM在训练时只用了文本生成的交叉熵损失，这不足以约束空间特征的有效对齐。可以额外加入一个空间对比损失：对于同一个场景的不同描述，如果两个描述涉及的空间关系相同，就拉近它们对应的3D特征表示；反之则推远。这种监督信号能够迫使编码器学会区分不同的空间关系，而不是把所有几何信息压缩成模糊的混合表示。
数据层面的增强手段
对齐策略解决的是“能不能表达”的问题，数据增强解决的则是“见过没有”的问题。最直接的思路是利用现有3D场景生成合成空间问答数据。具体流程是：从ScanNet等场景中解析出物体实例的位姿和尺寸，然后用规则模板批量生成空间关系问答对。
templates = [
("{a}在{b}的左边吗？", lambda a, b: a.center[0] < b.center[0]),
("{a}和{b}哪个离墙壁更近？", lambda a, b, w: dist(a, w) < dist(b, w)),
("{a}放在{b}上面吗？", lambda a, b: a.bottom >= b.top - 0.05),
]
def generate_qa(scene):
pairs = []
objects = scene.instances
for i, obj_a in enumerate(objects):
for j, obj_b in enumerate(objects):
if i == j:
continue
for tpl, checker in templates:
if checker(obj_a, obj_b):
pairs.append((tpl.format(a=obj_a.name, b=obj_b.name), "是的"))
else:
pairs.append((tpl.format(a=obj_a.name, b=obj_b.name), "不是"))
return pairs
这种基于规则的合成方法成本极低，一个中等规模的室内场景可以产出数百条空间问答样本，且答案由几何计算得出，准确率有保障。需要注意的是要控制正负样本比例，避免模型学到“全回答是”的捷径。
另一个有效手段是6D位姿扰动扩充。对场景中的物体施加小幅度的旋转和平移扰动，同时更新对应的描述文本（例如旋转超过阈值后“朝向门口”要改成“背对门口”），就能以极低的成本把数据规模扩充数倍，同时让模型对位姿的细微变化更加敏感。
最后是坐标系标注的一致性处理。在整理训练语料时，务必统一空间描述的参照系约定：是全局坐标系、当前观测视角，还是某个参照物体。可以在输入 prompt 中显式注明参照系信息，或者训练模型主动反问参照物，这两种方式都能显著降低方位混淆类错误。实测中，仅统一参照系这一项改动，就能让相对方位判断的准确率提升可观幅度。
综合来看，3D-LLM空间推理能力的提升需要架构与数据双管齐下：架构上通过显式空间 token、跨模态融合和空间对比损失把几何信息真正传递给语言模型；数据上通过规则合成、位姿扰动和参照系统一让模型见到足够多且高质量的空间关系样本。两条线配合推进，空间推理从短板变成强项并不会太遥远。