在自动化评测生成质量时，单一LLM裁判往往会把自身偏好带入评分。实际测试中，同一个回答在不同模型之间可能相差数十分，甚至同一模型在不同顺序下也会给出相反结论。这种不一致的根源就是法官模型偏见。要降低偏见，不能只更换更强的模型，而是需要从评估架构上引入多模型投票与分数校准。
法官模型偏见从哪里来
LLM作为法官的偏见不是随机误差，而是训练数据、对齐过程和模型架构共同作用的结果。常见的位置偏见会让模型倾向于给排在前面或后面的回答更高分，长篇回答往往因为信息密度更高而获得虚高评价，某些模型还会对与自身风格接近的文本产生好感。这些偏差使得单一LLM裁判的评分波动远大于人类评审。
一个典型的实验可以说明问题。将同一对回答的先后顺序调换，多个主流模型都会改变胜负判断，变化幅度可达20%到35%。如果直接把这些分数当作训练信号，会放大风格偏好而不是真实质量差异。更隐蔽的是自我偏好：模型A生成的回答交给模型A评分，平均比交给模型B评分高出约0.8到1.5分，这说明评估结果很难做到中立。
要解决偏见，第一步不是调整提示词，而是承认单一裁判不可靠。引入多个异构模型，从不同视角给出独立判断，再用统计方法聚合，可以显著降低个别模型的系统性偏差。这就是多模型投票的基本思路。
多模型投票：从单一裁判到评审团
多模型投票的核心是让多个不同架构、不同训练数据来源的LLM分别对同一候选回答打分或排序，然后聚合结果。最简单的聚合方式是多数投票，每个模型只给出胜出标记，最后选择得票最多的回答。这种方式实现成本低，但会丢失分数细节，容易在势均力敌时产生随机结果。
更好的做法是软投票或加权投票。每个模型输出一个0到10的分数，先对分数做归一化，再根据模型的历史可靠性赋予权重，最后加权求和。权重可以根据模型在人工标注校准集上的准确率、方差或与人类判断的相关性来确定。下面是一段Python实现，展示了如何聚合多个法官模型的分数并输出最终排名。
def normalize_score(score, min_score=0, max_score=10):
return (score - min_score) / (max_score - min_score)
def weighted_vote(judge_scores, weights):
votes = {}
for model, scores in judge_scores.items():
w = weights.get(model, 1.0)
for item, raw_score in scores.items():
norm = normalize_score(raw_score)
votes[item] = votes.get(item, 0.0) + w * norm
ranked = sorted(votes.items(), key=lambda x: x[1], reverse=True)
return ranked
judge_scores = {
'model_a': {'answer_1': 8.5, 'answer_2': 7.2},
'model_b': {'answer_1': 6.8, 'answer_2': 8.0},
'model_c': {'answer_1': 7.9, 'answer_2': 7.5},
}
weights = {'model_a': 1.2, 'model_b': 0.9, 'model_c': 1.0}
print(weighted_vote(judge_scores, weights))
除了加权平均，还可以使用排名聚合方法，例如Borda计数或Condorcet方法。这些方法不直接比较绝对分数，而是比较每对回答之间的相对胜负，能进一步减少不同模型评分尺度不一致的影响。实际工程中，三到五个异构模型组成的评审团通常能在成本和稳定性之间取得较好平衡。
校准：修正过度自信与尺度偏差
投票能降低偏见，但无法解决所有模型共有的尺度偏差。比如模型A习惯给高分，模型B习惯给低分，即使经过归一化，它们的概率分布仍可能与真实质量不一致。校准的目标是学习一个映射函数，把模型原始输出分数转换成更接近真实概率或人类平均分的值。
常用的校准方法包括温度缩放、Platt缩放和保序回归。温度缩放适用于分类概率输出，通过一个温度参数T调整softmax的平滑程度，使置信度更符合经验误差率。对于连续分数，保序回归可以在不改变排序的前提下，把原始分数映射到校准分数，特别适合评委打分场景。下面是一段使用scikit-learn进行保序回归校准的示例。
from sklearn.isotonic import IsotonicRegression import numpy as np raw_scores = np.array([9.2, 8.5, 7.8, 6.3, 5.9]) human_scores = np.array([8.8, 8.2, 7.5, 6.8, 6.1]) iso_reg = IsotonicRegression(out_of_bounds='clip') iso_reg.fit(raw_scores, human_scores) new_scores = np.array([9.0, 7.0, 6.0]) calibrated = iso_reg.predict(new_scores) print(calibrated)
温度缩放的参数通常在一个小的验证集上通过最小化负对数似然来拟合。校准时必须使用与训练数据不同分布的样本，否则容易过拟合。另外，校准不能替代投票，两者解决的是不同层面的问题：投票降低个别模型的偏见方差，校准修正整体评分尺度的系统偏差。实际流程中，先让多个模型独立打分，再对聚合后的分数做校准，效果通常优于只做其中一步。
实践中的关键取舍
多模型投票会增加API调用成本和延迟。如果每个评估任务需要调用五个模型，成本大约是单模型的五倍。一种折中方案是分层投票：先用两个便宜的小模型做初筛，只有两者分歧较大时才引入更昂贵的大模型进行仲裁。这样可以在大多数简单样本上保持低成本，在困难样本上获得高质量判断。
校准集的构建成本也不可忽视。理想情况下，校准集需要人工标注，且要覆盖不同难度和类型的回答。如果校准集过小，保序回归可能产生过拟合，导致新数据上的校准效果变差。建议至少准备数百条人工标注样本，并定期更新，以跟踪模型版本迭代带来的分布变化。
最后要强调的是，多模型投票与校准不是一次性配置。不同模型组合、不同任务领域、不同评分标准都会影响最优配置。建议建立一个小型评估基准，持续监控投票一致性和校准误差，把法官模型偏见当作一个需要持续治理的工程问题。