文本推理模型在处理数学证明、代码调试和复杂规划时，已经展现出接近人类专家的能力。这种能力高度依赖离散token上的链式推导、自我修正和候选答案排序。但视觉和音频信号本身是连续的、高维的，图像里的一个物体不会天然对应某个单词，声音中的一次敲门声也不会自动变成逻辑命题。跨模态推理要解决的核心问题，就是如何把这些连续信号转换成推理模块能够操作的中间表示，同时尽量保留空间、时序和语义信息。
围绕这个问题，业界主要有两条技术路线。第一条是端到端联合训练，把视觉编码器、音频编码器和推理语言模型放在同一个训练目标下更新，优点是不同模态之间可以形成深度耦合，缺点是训练成本极高，而且容易因为数据配比不当导致文本能力退化。第二条是桥接式方案，先使用已经训练好的视觉或音频编码器提取特征，再通过轻量投影层把特征映射到文本token空间，最后由冻结或低秩微调的大语言模型完成推理。目前多数开源跨模态推理模型采用第二种思路，因为它能复用文本基座已有的推理能力，迭代速度更快。
一、从文本推理到跨模态推理：中间表示是关键
文本推理的优势在于token本身已经是符号化的。模型可以在一个离散空间里搜索、回溯、比较。视觉patch和音频帧则完全不同。一个图像块可能同时包含纹理、边缘、深度等信息，一个音频帧里叠加着多个声源。直接把连续特征拼接到文本后面，语言模型往往只把它们当成噪声，很难做出稳定的多步判断。
因此，中间表示的设计决定了跨模态推理的上限。常见做法分三步：先由视觉编码器把图像切成若干patch，输出每个patch的向量；再由音频编码器对波形或梅尔谱图做帧级建模；最后通过投影器或可学习查询向量，把这些向量压缩成固定数量的soft token。soft token与文本token处于同一嵌入维度，语言模型可以像注意普通单词一样注意它们。这个过程可以理解成给连续信号做了一次离散化翻译。
import torch
import torch.nn as nn
class CrossModalProjector(nn.Module):
def __init__(self, visual_dim, audio_dim, text_dim, hidden_dim):
super().__init__()
self.visual_proj = nn.Sequential(
nn.Linear(visual_dim, hidden_dim),
nn.GELU(),
nn.Linear(hidden_dim, text_dim)
)
self.audio_proj = nn.Sequential(
nn.Linear(audio_dim, hidden_dim),
nn.GELU(),
nn.Linear(hidden_dim, text_dim)
)
def forward(self, visual_feat, audio_feat):
v = self.visual_proj(visual_feat)
a = self.audio_proj(audio_feat)
return v, a
投影层为什么重要？因为视觉编码器输出的向量维度和文本token嵌入维度通常不一致，直接拼接会导致注意力分数被维度差异主导。MLP投影可以把视觉特征拉进文本语义空间。更进一步的方案会使用感知重采样器，用一组可学习查询聚合可变长度的视觉特征，避免图像patch过多时序列长度爆炸。音频同理，一段10秒的音频如果以10毫秒为帧长，会产生1000帧，不压缩的话推理成本难以承受。
二、视觉推理的实现路径：区域描述、场景图与逐步验证
视觉推理的典型任务包括视觉问答、空间关系判断、物体计数和图表分析。这些问题往往不能靠单次看图回答，比如问图中左边的红色球比右边的蓝色球多几个，模型需要先识别对象、提取颜色和位置、再执行比较。只输出一个答案的简单多模态模型容易在数量关系和空间推理上出错。
为了把文本链式思考能力迁移到视觉任务，一种有效做法是先让模型生成区域级描述，再基于这些描述进行多步验证。区域描述相当于把图像信息转成半结构化的自然语言证据，后续推理可以在这些证据上做排除、对照和归纳。具体流程可以用下面的伪代码表示。
def visual_chain_reasoning(image_patches, question, llm):
# image_patches: 视觉编码器输出的区域特征
# 第一步：生成区域级描述
region_prompt = "请描述图中每个区域的对象、属性和空间关系。"
region_desc = llm.generate(
visual_tokens=image_patches,
text_prompt=region_prompt,
max_tokens=256
)
# 第二步：结合描述和问题做多步推理
reason_prompt = (
"已知区域描述：" + region_desc +
" 问题：" + question +
" 请逐步推理，并给出最终答案。"
)
answer = llm.generate(
visual_tokens=image_patches,
text_prompt=reason_prompt,
max_tokens=512
)
return answer
这种方式的好处很明显：推理过程可解释、可调试，且区域描述可以复用给不同问题。但它也有代价。如果第一步描述本身出现了幻觉，比如把阴影误判成物体，后面的推理就会被带偏。所以在实际系统中，通常会让模型在描述时给出置信度，或者对同一区域采样多个描述，再取一致性最高的内容作为证据。
另一个常见改进是引入场景图。场景图把对象、属性和关系组织成图结构，节点是物体，边是空间或语义关系。模型在推理时可以在图上做路径搜索。例如判断一个物体是否在另一个物体上方，只需要沿着关系边查找。相比自由文本描述，场景图的结构化程度更高，但构建场景图本身就需要较强的检测和关系分类能力，目前仍是一个有难度的子任务。
三、音频推理：从波形到语义事件再到复杂判断
音频推理比视觉推理更强调时间维度。一段声音里可能先后出现说话声、关门声、汽车鸣笛，推理任务可能要求判断事件发生的先后，或者回答某个声音是否在另一个声音之前出现。这要求模型不仅理解每一帧的声学特征，还要在长上下文里保持时间顺序。音频输入通常先被转换成梅尔谱图或离散音频token，再送入编码器。
import torchaudio
import torchaudio.transforms as T
def audio_to_mel(audio_path, sample_rate=16000):
waveform, sr = torchaudio.load(audio_path)
if sr != sample_rate:
resampler = T.Resample(sr, sample_rate)
waveform = resampler(waveform)
mel_transform = T.MelSpectrogram(
sample_rate=sample_rate,
n_fft=512,
hop_length=160,
n_mels=80
)
mel = mel_transform(waveform)
# 转成log刻度，便于模型处理
mel = torch.log(mel + 1e-6)
return mel # shape: [channel, n_mels, time]
梅尔谱图可以视为一种二维表示，横轴是时间，纵轴是频率，数值反映能量强弱。音频编码器沿着时间和频率轴提取特征后，同样需要压缩成固定数量的token。对于非语音声音，常用AudioMAE或BEATs等预训练编码器；对于语音，Whisper编码器能提供较稳定的语义特征。压缩后的音频token与文本问题一起送入语言模型，模型可以像阅读带时间戳的转写稿一样进行推理。
音频推理的一个典型场景是声音事件问答，例如问‘在第一声鸣笛之后是否出现了关门声’。这要求在时间轴上定位事件并比较顺序。为了降低长音频的推理难度，可以采用两阶段方法：先用事件检测模型切分出候选事件区间，再只把相关区间的高分辨率特征送入推理模型。这样既减少了输入长度，也降低了无关背景声的干扰。
音频与视觉跨模态联合推理也在出现，比如视频理解中的音画一致性判断。此时视觉流和音频流需要先在时间上对齐，再一起送入推理模块。时间对齐误差会导致模型把不同时刻的画面和声音错误关联。因此，联合推理系统通常会显式加入时间戳或帧索引，让模型知道哪些视觉token对应哪些音频token。
四、训练策略与评估：对齐、指令微调和幻觉抑制
跨模态推理模型的训练通常分为两个阶段。第一阶段是对齐阶段，让视觉或音频编码器与文本嵌入空间对齐。常见做法是对比学习：从批数据中拉近匹配的图像文本对，推开不匹配的样本。第二阶段是跨模态指令微调，给模型输入图像或音频以及自然语言问题，要求它输出推理过程和答案。微调数据需要覆盖不同推理类型，包括比较、计数、排除、逻辑蕴涵和时间顺序。
如果基座语言模型足够强，第一阶段可以只训练投影层，甚至冻结编码器。例如在视觉推理任务中，可以先冻结视觉编码器和语言模型，只训练一个几百万参数的MLP投影层，让模型学会把图像patch映射到文本空间。这样做能显著降低显存消耗，也保留语言模型的通用推理能力。等投影层收敛后，再解冻语言模型做低秩适配，提升任务表现。
评估跨模态推理不能只看答案准确率，还要关注推理过程的一致性和幻觉率。一个模型可能答对了最终答案，但中间描述错误；也可能在描述正确的情况下给出了矛盾结论。因此，好的评估集应当包含过程标注，或者至少包含可自动校验的中间步骤数据。在音频推理中，时间戳预测的容差也需要定义清楚，否则0.1秒的偏移可能被算作完全错误。数据配比上，如果视觉数据过多，语言模型的文本推理能力可能下降；音频数据过多，又可能影响视觉指令跟随。实际训练中需要持续监测文本基座在纯文本基准上的表现，避免跨模态能力提升以牺牲文本能力为代价。