在构建检索增强生成系统时，很多团队发现向量数据库返回的前几条文档虽然语义距离近，却并不包含回答问题所需的事实。这种检索噪声会直接污染大模型看到的上下文，使生成结果出现幻觉或答非所问。重排序模型（Reranker）作为检索管线的第二道关卡，能够对初排候选做精细化打分，从而把真正相关的资料提到前面。
检索噪声从何而来：向量召回的先天局限
主流RAG方案通常先用稠密向量检索，将用户问题嵌入为高维向量，再到向量库里找最近邻。这种方法速度快、可扩展，但底层目标是“语义空间距离最小”，不是“事实匹配最优”。例如用户问“公司年假如何计算”，向量检索可能召回“节假日排班通知”“员工福利总则”等语义接近却无具体算法的文档，因为它们共享大量HR相关词汇。
另一个常见噪声源是长度偏差与高频词主导。某些文档特别长，包含更多词面重叠，在向量空间里更容易被拉近；或者文档中出现多次“年假”却只是在罗列制度目录。初排模型无法判断细粒度证据，只能给出粗粒度相关性。此时若直接取Top3喂给大模型，噪声上下文占比过高，模型很难忽略干扰。
此外，很多业务语料中存在大量模板化内容，如合同开头、报告封面，它们的向量表示高度相似，进一步压缩了真实命中项的排名空间。要缓解这类问题，仅靠调阈值或换嵌入模型收益有限，必须在召回之后引入更强的判断单元，这就是重排序模型的价值所在。
重排序模型如何工作：交叉编码器的深度匹配
重排序模型多采用交叉编码器（Cross-Encoder）结构。与双塔编码器分别算查询和文档向量不同，交叉编码器把查询与候选文档拼成一段文本，一起送入Transformer，让注意力机制在词元层级充分交互，输出一个相关性分数。因为能看到双方完整上下文，它能捕捉“问题中的时间限定”与“文档中的生效日期”是否一致这类细粒度信号。
下面是一段使用开源重排序模型对初排结果打分的简化示例。代码采用Python与常见推理库，展示如何把查询和每段文档组合后取分数：
from transformers import AutoTokenizer, AutoModelForSequenceClassification
model_name = "cross-encoder/ms-marco-MiniLM-L-6-v2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
query = "公司年假如何计算"
candidates = [
"年假制度目录：包含婚假、病假等条目。",
"年假计算规则：入职满1年享5天，每增2年加1天，上限15天。",
"节假日排班通知：春节调休安排如下。"
]
pairs = [(query, doc) for doc in candidates]
inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors="pt")
scores = model(**inputs).logits.squeeze().tolist()
ranked = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)
for doc, sc in ranked:
print(f"score={sc:.4f} doc={doc}")
从示例可见，重排序并不重新检索全库，而是对向量检索返回的Top20或Top50做二次打分。这样既控制了计算量，又弥补了初排粗筛的不足。实践中，交叉编码器参数量虽大于嵌入模型，但只对少量候选推理，端到端延迟通常可接受。
需要注意的是，重排序模型也有适用边界。如果候选集本身完全没有正确答案，重排序只能把“相对不那么错”的排前面，无法凭空产生证据。因此它应被视为精度过滤器，而非召回补全器。配合更合理的分块策略与元数据过滤，才能系统性降低噪声。
工程落地要点：链路设计与效果评估
在RAG管线中，推荐采用“向量检索召回候选 → 重排序模型重排 → 截取TopN进上下文”的三段式。向量检索负责高召回，重排序负责高精度。如下表格对比了有无重排序的典型差异：
| 方案 | Top3相关率 | 大模型答对率 | 额外延迟 |
|---|---|---|---|
| 仅向量检索 | 约62% | 约58% | 基准 |
| 向量+重排序 | 约89% | 约84% | 加80到150毫秒 |
上线时要关注候选数量设置。若初排只给Top5，重排序可调整空间很小；给Top30以上，重排序才能把埋在后面的真相关文档提上来。但候选过多会拉长交叉编码器推理时间，需按业务流量做权衡。一般文本问答场景取Top20到Top50较稳妥。
评估环节建议用人工标注的小集合作静态测试，指标包括重排后Top3相关率、上下文信噪比，以及最终回答准确率。同时也可以记录被重排序淘汰出前排的文档，抽样检查是否误杀。只有确认误杀率低，才能放心把它放在生产链路。通过这种闭环验证，重排序模型能显著提升RAG系统的上下文质量，让大模型少受噪声之苦。