在大模型推理过程中，Temperature是一个直接挂在softmax之后的缩放系数，用来改变候选词概率的分布形态。很多工程师在调试对话系统时发现，同一个prompt喂进去，返回内容却时好时坏，其实多半是因为没有固定或理解这个参数的行为。它并不改变模型原本算出的logits，只是对logits做除法后再走一遍softmax，从而让分布变得更尖或更平。
Temperature的数学原理与softmax变形
标准softmax会把模型的原始得分logits转换成总和为一的概率。当引入Temperature参数T时，公式变为softmax(logits / T)。如果T小于一，除以小数相当于放大差异，原本得分高的词概率被进一步拉高，分布更加尖锐，模型倾向于保守地选最高概率词。反之T大于一时，差异被压缩，概率分布趋于平坦，更多低分词有机会被采样到。
从信息论角度看，T越小熵越低，输出确定性越强；T越大熵越高，随机性上升。下面这段Python代码演示了同样一组logits在不同T下的概率变化：
import math
def softmax(logits, t):
scaled = [x / t for x in logits]
m = max(scaled)
exps = [math.exp(x - m) for x in scaled]
s = sum(exps)
return [e / s for e in exps]
logits = [2.0, 1.0, 0.1]
print('T=0.5:', softmax(logits, 0.5))
print('T=1.0:', softmax(logits, 1.0))
print('T=2.0:', softmax(logits, 2.0))
运行后可以看到，T=0.5时第一个词概率超过八成，T=2.0时三个词概率差距明显缩小。这种数值层面的平滑，正是确定性向创造性偏移的根源。需要强调的是，Temperature只影响采样分布，不改变模型对世界的先验知识，它不会让模型突然学会没训练过的内容。
确定性场景下的低温度实践与风险
在智能客服、SQL生成、代码补全这类容错率低的任务里，通常把Temperature设在零点一到零点三之间。此时模型基本沿着最高概率路径生成，回答风格统一，也不会随意编造函数名。例如用大模型把自然语言转成SQL，低温度能显著降低语法错误率，减少后续校验成本。
但过低的温度也有隐患。当T逼近零，采样退化成贪心解码，一旦某一步选错，后面整段都可能跑偏且无法自救。同时低温度容易让生成内容出现重复循环，比如连续输出相同的过渡句。实践中常配合top_p截断来缓解这个问题，而不是单纯压到零。以下伪代码展示了一个带温度与top_p的推理调用：
# 假设模型推理接口支持以下参数
response = model.generate(
prompt='将这句话转为SQL: 查询上月销量最高的商品',
temperature=0.2,
top_p=0.9,
max_tokens=128
)
print(response)
可以看到，低温度配合top_p能在保真和去重之间取得平衡。如果业务要求绝对可复现，还应固定随机种子，否则即便T很小，底层采样器的随机源仍可能带来微小差异。对于金融、医疗类系统，这种工程细节往往比模型结构更影响线上表现。
创造性场景中的高温调节与约束
写诗、头脑风暴、角色扮演等任务则倾向把Temperature调到零点七以上。高温让分布变平，模型更愿意抽取那些训练时概率不高但新颖的搭配，句子转折更出人意料。有团队在故事续写评测中发现，T从零点五升到零点九，人类评分的创意分项平均提高约三成，但事实一致性评分同步下降。
高温不是越高越好。当T超过一点五，生成内容经常逻辑断裂，甚至出现乱码式堆砌。因此创造性应用通常会加一层后处理，比如用规则过滤敏感词、用奖励模型重排候选。下面示例展示如何在生成多条文案后用简单打分挑出较通顺的一条：
candidates = []
for _ in range(5):
candidates.append(model.generate(prompt='写一句夏日咖啡馆文案', temperature=0.9))
# 用长度与标点简单估计通顺度
def score(text):
return len(text) + text.count('，') + text.count('。')
best = max(candidates, key=score)
print('选中:', best)
这种思路说明，Temperature只是打开可能性的旋钮，真正落地的创造性要靠采样策略、后过滤与产品逻辑共同完成。调参时建议先做小规模网格搜索，记录不同T下的人工满意度，而不是凭感觉定零点八。只有把数学性质和业务指标对齐，参数调节才是有意义的工程行为。
Temperature推理确定性推理创造性修改时间：2026-08-17 22:40:27