大模型生成文本并非一次性输出完整答案，而是逐 token 预测下一个词。每次预测都会产生一个词汇表上的概率分布，解码策略负责从这个分布中挑选一个 token。如果策略不当，模型可能输出与上下文无关的内容，也就是常说的胡言乱语。调整采样参数是最直接的干预手段。
一、胡言乱语的本质：解码策略中的随机性失控
大语言模型在推理时，每个时间步都会计算词汇表中所有 token 的 logits，然后通过 softmax 转换为概率分布。这个分布决定了下一个 token 的选择范围。如果直接使用贪心解码，总是选择概率最高的 token，虽然输出稳定，但容易陷入重复循环，缺乏多样性。而完全随机采样则可能选中概率极低的词，导致语义漂移，出现前后不连贯的内容。
所谓的胡言乱语，很多时候并不是模型知识错误，而是解码过程过度放大了低概率 token 的影响。例如，模型在生成一个医学回答时，某个专业术语的概率为 0.01，但在高随机性采样下，它被选中的机会被放大，就可能产生荒谬的表述。因此，理解并控制采样参数，是解决这类问题的核心。
常见的采样参数包括 temperature、top_p、top_k 以及重复惩罚等。它们各自从不同角度约束概率分布，相互配合可以显著改善输出质量。接下来分别解析这些参数的原理与调优方法。
二、Temperature参数的作用机制与调参原则
temperature 是控制采样随机性的最直观参数。它作用于 softmax 之前，将 logits 除以温度值 T，公式为：p_i = exp(z_i / T) / Σ exp(z_j / T)。当 T=1 时，就是标准 softmax；当 T<1 时，概率分布变得更尖锐，高概率 token 被进一步强化，低概率 token 被抑制，输出更确定但可能缺乏变化；当 T>1 时，分布趋于平坦，不同 token 之间的概率差异减小，随机性增加，更容易出现意外输出。
对于事实性要求高的场景，例如医疗问答、法律咨询、代码生成，建议将 temperature 设置在 0.1 到 0.3 之间。这样模型会倾向于选择最可能的 token，减少编造事实的风险。而对于创意写作、头脑风暴、广告文案等需要多样性的任务，可以将 temperature 提高到 0.7 甚至 1.0，让输出更加丰富。但要注意，超过 1.5 之后，模型输出往往会变得语无伦次。
import openai
response = openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "解释一下量子纠缠"}],
temperature=0.2, # 低温度，适合事实性问答
top_p=0.9,
max_tokens=200
)
print(response.choices[0].message.content)
除了直接设置固定值，也可以根据实际测试结果微调。如果发现模型输出过于死板，可以小幅提高温度；如果出现明显错误或跑题，则降低温度。一个实用的方法是先将温度设为 0，观察完全确定性的输出基线，再逐步增加随机性，直到达到可接受的质量与多样性平衡。
三、top-p与top-k：截断采样的协同作用
top_k 采样是指只从概率最高的 K 个 token 中随机选择，其他 token 的概率被置零。这种方法可以避免选中极端低概率的词，但固定 K 值不够灵活，因为不同上下文的概率分布形状差异很大。当概率分布比较平坦时，K 可能太小，限制了多样性；当分布非常集中时，K 可能太大，仍然包含低概率噪声。
top_p 又称核采样，它动态选择累计概率达到阈值 p 的最小 token 集合。例如 p=0.9 时，模型会从概率最高的 token 开始累加，直到总和达到 0.9，只在这个集合内采样。这种方式根据分布形状自适应调整候选集大小，比固定 top_k 更灵活。实际使用中，一般推荐将 top_p 设置为 0.8 到 0.95 之间，同时配合较小的 temperature，可以获得稳定且自然的输出。
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("gpt2")
tokenizer = AutoTokenizer.from_pretrained("gpt2")
inputs = tokenizer("Once upon a time", return_tensors="pt")
output = model.generate(
**inputs,
do_sample=True,
temperature=0.8,
top_p=0.9,
top_k=50,
max_new_tokens=100
)
print(tokenizer.decode(output[0], skip_special_tokens=True))
需要注意的是，temperature 与 top_p / top_k 并不是完全独立的。温度先改变整个分布的形状，然后截断参数再对分布进行裁剪。如果温度很高，分布已经很平坦，此时即使设置较小的 top_p，候选集合内仍然可能包含不少低概率词，随机性依然较大。因此调参时要综合考量，通常先固定温度，再调整截断参数。
四、实战调参策略：从胡言乱语到稳定输出
不同任务对采样参数的需求差异巨大。下面按照应用场景给出推荐配置范围：事实问答与知识检索建议 temperature=0.1~0.3，top_p=0.9，top_k=40；代码生成建议 temperature=0.2~0.4，top_p=0.95，关闭 top_k 或设较大值；创意写作建议 temperature=0.7~1.0，top_p=0.9~0.95；翻译任务建议 temperature=0.3~0.5，top_p=0.9。这些值并非绝对，需要根据具体模型和数据集进行微调。
如果模型已经出现胡言乱语，可以按以下步骤排查：第一步，将 temperature 设为 0，检查输出是否恢复正常。如果恢复，说明之前随机性过高；如果仍然异常，则问题可能出在提示词或模型本身。第二步，保持温度为 0，逐步增加 top_p 或 top_k，观察从何时开始出现质量下降。第三步，选择质量开始下降前的参数组合，再适当调低温度 0.05 到 0.1，留出安全余量。
此外，还可以启用重复惩罚参数，例如在 transformers 中设置 repetition_penalty=1.2，减少模型重复输出相同短语。对于长文本生成，可以配合 no_repeat_ngram_size 禁止连续重复的 n-gram。这些辅助参数虽然不是核心采样参数，但在解决胡言乱语方面同样有效。
最后要强调的是，采样参数调优不是一次性工作，而是需要根据反馈持续迭代。建议在开发环境中记录不同参数组合下的输出样本，使用自动化评估指标如困惑度、BLEU 或人工评分，找到最适合当前业务场景的配置。通过系统化调参，绝大多数大模型胡言乱语的问题都能得到有效缓解。
大模型推理Temperature采样参数修改时间：2026-09-27 07:45:16