推理时干预（Inference-Time Intervention，ITI）的核心思路是在Transformer的残差流上叠加一个方向向量，从而增强模型对真实信息的响应。然而很多实现中方向估计并未严格对齐激活空间中真正区分真实与幻觉的维度，导致干预之后模型输出反而更差。本文分析方向错误的表现、来源，并给出一套定位truth direction的完整方法。
一、ITI方向错误的来源与表现
ITI方向错误最直接的体现是：在验证集上按照某个方向施加干预后，真实率不升反降，或者模型开始输出与上下文无关的固定短语。例如在某些对话数据上，对第15层残差流施加由均值差得到的方向向量，原本期望减少幻觉，结果模型却频繁拒绝回答或重复模板句。这类失败通常不是随机扰动造成的，而是方向向量本身包含了与真实性无关的干扰成分。
方向估计的经典做法是构造正负样本对，正样本为真实陈述，负样本为幻觉陈述，然后计算两者在某层隐藏状态上的平均差向量。这种方法的缺陷在于：第一，正负样本往往共享相同的句法结构和词汇分布，平均差向量会保留大量句法信息而非语义真假信息；第二，不同层的激活空间几何结构差异很大，某一层有效的方向在相邻层可能完全失效；第三，如果正负样本的构造存在标签泄露，方向会学习到数据收集时的偏置，而不是模型内部真实的真实性编码。
线性探针方法是另一种常用方案，它直接在隐藏状态上训练一个分类器，然后将分类器的权重向量作为truth direction。虽然线性探针在区分正负样本上准确率很高，但高准确率并不等于方向适合干预。原因在于分类器权重可能会利用多个正交方向共同完成分类，而其中一些方向对应的是语法、长度或实体类型等浅层特征，将这些方向混合进干预向量会导致模型偏离原始语义。
此外，方向错误还表现为层间方向不一致。对第10层计算的方向向量与第20层计算的方向向量余弦相似度可能只有0.3甚至更低，说明truth direction并非一个全局固定的向量，而是随层演化。如果只在单层提取方向再直接应用到所有层，就会产生层间错配，导致干预信号在不同层之间相互抵消或被残差流放大为噪声。
二、激活空间中Truth Direction的定位方法
要解决方向错误，首先要重新定义定位目标。truth direction不应该被理解为一个独立于上下文的固定向量，而应当是在给定上下文条件下，真实回复与幻觉回复在激活空间中形成的最大分离方向。因此定位过程需要显式考虑层选择、样本配对和方向聚合三个关键环节。
样本配对策略上，建议采用最小对比对方法：对同一个问题生成真实回答和幻觉回答，幻觉回答应通过提示模型给出相反或错误信息来获得，而不是从不同来源拼接，这样可以最大程度消除句式差异。例如对于问题“法国的首都是哪里”，正样本为“巴黎”，负样本可以设置为“伦敦”但表述保持相同模板。在提取隐藏状态时，不要只取最后一个token，而应取回答部分所有token的均值，或者取最后一个实义token（如名词、动词）的隐藏状态，这能降低位置编码对方向估计的干扰。
方向计算可以使用多种方法，但推荐先进行去中心化和标准化。假设已经得到正样本激活矩阵P和负样本激活矩阵N，每行是一个样本的隐藏状态向量。最简单的方向是均值差mean(P)-mean(N)，但更稳健的方式是对差值矩阵做主成分分析，取第一主成分作为方向。PCA能自动去除样本内部方差较大的无关维度，保留正负样本之间最稳定的差异方向。代码示例如下：
import torch
from sklearn.decomposition import PCA
def compute_truth_direction(pos_hidden, neg_hidden):
"""
pos_hidden: tensor of shape [n_pos, hidden_dim]
neg_hidden: tensor of shape [n_neg, hidden_dim]
返回归一化的truth direction向量
"""
# 拼接并计算差值矩阵
diff = pos_hidden.mean(dim=0) - neg_hidden.mean(dim=0)
# 使用PCA提取主方向：对差值矩阵进行奇异值分解
# 这里先将差值扩展到样本差异空间，便于PCA捕获稳定方向
diff_matrix = pos_hidden - neg_hidden # 假设样本数相同，否则需要对齐
pca = PCA(n_components=1)
pca.fit(diff_matrix)
direction = torch.tensor(pca.components_[0], dtype=pos_hidden.dtype)
direction = direction / torch.norm(direction)
return direction
上述代码先计算差值矩阵，再用PCA提取第一主成分，最后归一化得到单位向量。实际使用中如果正负样本数量不一致，需要对两者分别取均值后再求差，或者对每个正样本随机配对多个负样本。PCA方法相比单纯均值差能更好地抑制噪声维度，但计算成本略高。
跨层方向聚合是另一个关键步骤。不同层的truth direction可以看作一个序列，直接对每层独立计算方向然后平均并不合理，因为方向可能会翻转或旋转。一种有效的聚合方式是在每一层计算方向后，先对方向做符号对齐：以第一层方向为基准，将后续层方向乘以符号使得点积为正，然后对对齐后的方向按层重要性加权平均。层重要性可以通过在该层方向上施加干预后验证集真实率的提升幅度来估计。训练阶段可以留出一部分数据用于测量各层的干预收益，将收益作为该层方向的权重。
方向正交化同样不可忽视。即使方向正确，如果它与模型的输出分布主方向重叠过高，干预会破坏输出的流畅性。可以在应用方向之前，先将其与当前隐藏状态中已存在的任务相关方向做正交化，只保留增量成分。具体做法是在干预时计算h_new = h + alpha * (d - proj(d, h))，其中proj(d, h)是方向d在h上的投影。这样可以减少对原始表示的干扰，同时保留对真实性相关维度的增强效果。
三、方向校准与验证：实验设计与评估
定位到候选方向后，必须通过严格的校准实验来验证其有效性。建议采用三层评估体系：第一层是方向区分度，即正负样本在方向上的投影分布是否有显著分离，可以用t检验或AUC衡量；第二层是干预增益，在不改变模型参数的情况下，沿方向对残差流施加固定幅度的扰动，比较干预前后生成结果的真实率；第三层是下游任务损失，确保干预不会导致流畅性、多样性或事实正确性的其他方面严重退化。
在干预增益测试中，幅度alpha的选择非常重要。过大的alpha会导致模型输出崩溃，过小则效果不明显。一种自动选择方法是扫描一组候选alpha值（例如0.1到2.0之间），在验证集上测量真实率变化，选择真实率最高且困惑度不超过原始值1.2倍的那个幅度。这个过程可以针对每一层分别进行，得到层特定的最佳幅度。
方向校准还包括方向正交性与稀疏性检查。理想的方向向量应该在大部分维度上接近零，只在少量与真实性相关的维度上有较大绝对值，这种稀疏性可以通过L1正则化或截断小分量来实现。稀疏方向不仅干预效果更稳定，而且计算开销更低。如果发现方向向量的L2范数很大但投影区分度不高，说明向量中包含大量冗余分量，应当通过阈值截断只保留绝对值前5%的维度，然后重新归一化。
下面给出一个方向校准的代码框架，演示如何根据验证集反馈调整方向幅度并应用干预：
import torch
import torch.nn.functional as F
def apply_intervention(hidden_states, direction, alpha):
"""
hidden_states: [batch, seq_len, hidden_dim]
direction: [hidden_dim]
alpha: 干预强度
"""
# 将方向扩展到相同形状
direction = direction.to(hidden_states.device)
# 对每个token叠加方向分量，但只对回答部分生效
# 假设mask指示哪些token属于回答
# 这里简化处理，直接对所有token进行干预
h_new = hidden_states + alpha * direction.unsqueeze(0).unsqueeze(0)
return h_new
def calibrate_alpha(model, tokenizer, val_data, layer_idx, direction):
best_alpha = 0.0
best_score = -float('inf')
for alpha in [0.1, 0.3, 0.5, 0.8, 1.0, 1.5, 2.0]:
truth_count = 0
total = 0
for batch in val_data:
inputs = tokenizer(batch['prompt'], return_tensors='pt', padding=True)
outputs = model(**inputs, output_hidden_states=True)
hidden = outputs.hidden_states[layer_idx]
hidden = apply_intervention(hidden, direction, alpha)
# 重新注入隐藏状态需要进行前向传播，这里需使用hook方式
# 为简化示例，省略hook注入细节，仅示意评分逻辑
# 实际应用时需替换为hook函数修改对应层输出
generated = model.generate(**inputs, max_new_tokens=20)
truth_count += count_truthful(generated, batch['label'])
total += len(batch)
score = truth_count / total
if score > best_score:
best_score = score
best_alpha = alpha
return best_alpha, best_score
上面的校准代码只是一个框架，真实实现中需要使用PyTorch的forward hook在指定层修改隐藏状态，并在生成循环中处理KV缓存。重点是理解校准逻辑：通过扫描幅度并评估真实率，选择最优干预强度。注意代码中比较操作符使用了转义后的>，实际Python代码应为大于号。
在评估方向质量时，建议同时报告方向在正负样本上的投影均值差、干预后的真实率、以及干预后文本的困惑度。如果真实率提升但困惑度大幅上升，说明方向破坏了语言模型的先验，需要减小alpha或对方向做正交化处理。一个平衡良好的方向应该在不显著增加困惑度的前提下提升真实率。
四、常见陷阱与工程实现建议
第一个常见陷阱是标签泄露。如果验证集或方向训练集与评估集存在重叠，方向会过拟合到特定样本的噪声模式，虽然评估分数很高，但泛化到新问题时失效。解决方案是严格划分数据集，方向估计使用专门的构造数据，评估使用完全独立的真实问答对，并采用交叉验证检查稳定性。
第二个陷阱是忽略层间交互。很多实现只在单层提取方向然后应用到所有层，但如前所述，不同层的truth direction差异很大。更合理的做法是逐层估计方向并逐层干预，或者只在部分关键层进行干预，例如只对中间层和靠后的层干预，跳过嵌入层和最终输出层。实验表明，对第8到第20层（以32层模型为例）进行干预通常效果最佳，但具体范围需要通过消融确定。
第三个陷阱是使用静态方向应对所有上下文。truth direction应当随输入上下文变化，固定方向对于不同类型的问答对可能偏差较大。一种改进是学习一个轻量级的方向预测器，输入当前隐藏状态，输出该上下文的校正方向。这个预测器可以是一个线性层或小型MLP，其参数通过最大化干预后真实率来训练。虽然引入了额外参数，但能显著提高方向的上下文适应性。
工程实现上还需要注意数值稳定性。当隐藏状态维度很高（例如4096或8192）时，直接使用完整方向的干预可能产生梯度爆炸或数值溢出。建议在应用干预前对方向做层归一化或缩放，确保方向范数与当前隐藏状态范数处于同一数量级。同时，在生成过程中使用hook修改隐藏状态时，要正确处理KV缓存，避免重复计算导致显存膨胀。一个安全的做法是只在prefill阶段施加干预，生成阶段保持原始缓存，或者使用缓存偏移技术将干预信息融入缓存更新。
总结来说，解决ITI方向错误的关键在于回到激活空间本身，认真对待方向估计的每个环节：从样本配对、层选择、方向计算，到跨层聚合、正交化和幅度校准。只有方向与模型中真实的真实性编码对齐，推理时干预才能真正发挥增强真实性的作用，而不是变成一种新的幻觉来源。
ITI方向错误Truth Direction激活空间修改时间：2026-09-26 12:44:19