推理时缩放的核心思想看起来有些反直觉：模型参数没有改变，训练数据也没有增加，只是让模型在推理时多花一些计算，输出质量就能明显提升。这个现象在数学题求解、代码生成、多步骤逻辑推理等任务中尤其明显。要理解其中原因，需要先区分两类缩放：训练时缩放关注的是如何扩大模型规模和数据规模，而推理时缩放则关注在模型固定的前提下，如何通过增加采样次数、延长思维链、引入验证与搜索来换取更高的准确率。
如果把大模型的一次推理看作一次随机采样，那么单次采样可能落入错误路径。假设某道题单次答对的概率是60%，连续采样5次后，至少有一次答对的概率会上升到约92%。问题的关键在于：当没有外部信息时，我们并不知道哪一次是对的。推理时缩放要解决的就是在多次采样之后，如何高效地筛选、验证或融合这些候选结果。这一思路与集成学习有些相似，但它完全发生在同一个模型的推理阶段，不需要重新训练，也不需要额外的模型参数。
实际使用中，推理时缩放并不总是意味着无限增加采样次数。更长的思考时间可以通过多种方式实现，例如让模型生成更长的推理链、并行采样多个完整答案、在中间步骤引入评估器等。这些方法的共同点是利用额外算力减轻了单次生成中错误累积的影响。由于自回归生成是逐token进行的，早期的一个小错误可能被不断放大，而多样化的候选可以削弱这种单点失败带来的风险。
一、为什么延长推理时间能带来质量提升
从生成机制来看，大模型在回答复杂问题时并不会一次性找到最优解。它每生成一个token，都基于前面的内容做条件概率估计。如果某一步选择了次优方向，后续内容就会沿着该方向继续发散。延长推理时间的一个直接好处是允许模型在相同问题上产生多条不同的推理路径。当采样温度升高时，token选择的随机性增加，输出不再局限于最高概率的那一条路径，而是覆盖更大的解空间。这样一来，原本容易被贪婪解码忽略的正确思路就有机会被探索到。
除了多样性，推理时缩放还依赖于验证机制。单纯提高采样次数而没有筛选手段，并不能稳定提升准确率，因为错误答案往往占据更多比例。常见的做法是训练一个验证器或奖励模型，对候选答案的中间步骤或最终结果打分，选出得分最高的那个。在没有验证器的情况下，也可以使用自洽性投票：对多个候选答案做规范化处理后，统计出现频次最高的那个作为最终输出。这种方式在答案空间比较小的任务中效果很好，比如选择题、数值计算、代码修复等。
另一个容易被忽略的因素是思维链本身的质量。延长思考时间并不等同于让模型输出更多无效文字。如果提示词设计得好，模型会在推理过程中显式写出中间步骤，这些步骤相当于把复杂问题分解成多个小问题，每一步的正确概率都会高于整体直接给出答案的概率。推理时缩放可以把这种逐步推理与多次采样结合起来，既提高了单次推理的可靠性，又利用多次尝试进一步降低失败概率。
二、推理时缩放的常见实现方式
最简单直接的实现是Best-of-N采样。它的流程是：针对同一个问题并行生成N个候选答案，然后用一个验证函数给每个答案打分，最后返回分数最高的那个。这种方法的优点是实现简单，候选生成之间完全独立，非常适合并行化处理。缺点是它需要额外的验证器，如果没有验证器，只能依靠启发式规则，例如答案长度、是否有语法错误、是否包含特定格式等。下面是一段Best-of-N的示例代码，其中verifier可以是一个规则函数，也可以是一个训练好的奖励模型。
def best_of_n_with_verifier(model, problem, n=8, verifier=None):
best_answer = None
best_score = float('-inf')
for _ in range(n):
answer = model.generate(problem, temperature=0.8)
score = verifier.score(problem, answer)
if score > best_score:
best_score = score
best_answer = answer
return best_answer, best_score
如果不想引入额外的验证器，自洽性投票是更轻量的方案。它不评估单个答案的质量，而是让模型独立生成多条推理结果，再把这些结果中重复度最高的答案作为最终输出。对于数值类或选项类问题，答案是高度结构化的，投票策略非常有效。代码示例如下，其中model.generate的temperature参数可以调高一些，以便获得更多样化的候选答案。
def solve_with_self_consistency(model, prompt, n=5):
candidates = []
for _ in range(n):
answer = model.generate(prompt, temperature=0.7)
candidates.append(answer.strip())
return max(set(candidates), key=candidates.count)
更进一步的实现是搜索式推理，例如树状思维或蒙特卡洛树搜索。这类方法不只在最终答案层面采样，而是在中间推理步骤上做扩展和评估。模型会生成多个中间步骤候选，评估器选择最有希望的步骤继续展开，直到得到最终答案。它的搜索空间更大，理论上能解决单步采样无法覆盖的复杂推理问题，但计算成本也明显更高，而且实现复杂度陡增。工程中通常只在Best-of-N和自洽性投票无法满足精度要求时才考虑搜索式推理。
还有一类被称为预算强制的做法，它并不增加采样次数，而是强制模型在生成最终答案前输出更长的一段推理内容。具体做法是在提示词中要求模型先做详细分析，或者限制最大输出token数，使得模型有足够空间展开中间步骤。对于已经经过指令微调的模型来说，这种简单的提示词调整有时就能带来可观的性能提升，且几乎没有额外的工程成本。
三、成本与质量的平衡：如何控制推理预算
推理时缩放并不是免费的午餐。每多采样一次，就需要额外付出一次完整前向计算的成本。对于线上服务来说，这意味着更高的算力消耗和更长的响应时延。因此实践中需要根据任务难度动态调整推理预算。简单问题用单次采样即可，复杂问题才启动多次采样或搜索。可以通过一个粗略的难度分类器，先判断问题类型和复杂度，再决定是否开启Best-of-N或自洽性投票。这样在保证大部分请求低时延的同时，只在关键场景上投入额外算力。
从并行性角度看，Best-of-N和自洽性投票天然适合并行化。多个候选答案之间没有依赖关系，可以同时请求模型推理接口，然后再集中处理结果。搜索式推理则存在顺序依赖，因为每一轮的扩展都依赖于前一轮的评估结果，因此整体时延会更高。在工程实现中，可以利用批处理、异步调用和前缀缓存来降低并行采样的开销。例如多个候选共享同一段提示词时，可以复用提示词部分的键值缓存，避免重复计算。
预算强制方法在成本控制上更有优势，因为它只增加单次推理的长度，而不增加推理次数。不过它也存在局限：当推理链过长时，模型可能出现重复、循环或逐渐偏离主题的情况，反而不利于最终答案。因此可以设置一个合理的最大token数，并在生成过程中监控输出质量，一旦发现重复片段就提前终止。另一个思路是让模型自己判断是否需要更长的推理过程，在训练阶段加入相关指令，使其学会对简单问题直接回答，对复杂问题主动延长分析。
推理时缩放并不是万能的。它无法弥补模型在知识储备上的根本缺陷，如果模型没有学过解决某类问题所需的基础知识，再多的采样次数也难以产生正确答案。对于开放性的创意写作、文案生成等主观性较强的任务，投票和验证器的效果也会打折扣，因为不存在唯一的标准答案。它更适合那些有明确正确与否的推理任务，例如数学计算、代码调试、符号逻辑、法律或医学知识问答等。理解这些适用边界，比盲目增加采样次数更重要。
随着模型规模和推理能力不断演进，推理时缩放正在从外部工程手段逐步转向模型自身能力的一部分。一些新模型已经学会在回答前进行更长的内部推理，用户甚至不需要额外调整采样次数。但即便如此，掌握这些底层的缩放策略仍然有价值，因为它能帮助你在有限的算力预算下做出更合理的架构选择和系统设计。