Temperature参数在基于Transformer架构的大语言模型推理中扮演着调节随机性的关键角色。许多开发者在使用API时只是随手设置一个值，却没有意识到这个参数对输出质量的影响远超想象。Temperature直接作用于模型输出的logits，通过改变softmax概率分布的陡峭程度来控制采样行为。选对取值，生成结果既稳定又多样；选错取值，要么千篇一律，要么语无伦次。
Temperature如何影响概率分布
大语言模型在生成下一个token时，会计算词表中每个候选token的logits分数，然后通过softmax函数将这些分数转换为概率分布。标准softmax公式为：p_i = exp(z_i) / Σ exp(z_j)。加入Temperature参数后，公式变为：p_i = exp(z_i / T) / Σ exp(z_j / T)。这里的T就是Temperature，它先对logits进行缩放，再执行softmax运算。
当T等于1.0时，模型按照原始logits计算出的概率进行采样，这是大多数模型训练时的默认状态。当T小于1.0时，logits被放大，高概率token的得分优势被进一步拉大，softmax后的分布变得更加尖锐，模型更倾向于选择原本概率最高的token。当T大于1.0时，logits被缩小，各token之间的得分差距减小，概率分布变得平坦，原本概率较低的token也获得了被采样的机会。下面这段Python代码展示了不同T值对概率分布的影响。
import numpy as np
def softmax_with_temperature(logits, temperature=1.0):
logits = np.array(logits, dtype=np.float32)
scaled = logits / temperature
exp_scaled = np.exp(scaled - np.max(scaled))
return exp_scaled / exp_scaled.sum()
logits = [2.0, 1.0, 0.1]
for temp in [0.2, 0.7, 1.0, 1.5]:
probs = softmax_with_temperature(logits, temp)
print(f"T={temp}: {[round(p, 4) for p in probs]}")
运行结果可以明显看出，T=0.2时概率分布极度集中，第一个token的概率接近0.99；T=1.5时三个token的概率差距被大幅拉近，随机性显著提升。这种非线性缩放意味着温度微小的变化就可能带来输出风格的巨大转变。需要注意的是，极端温度会破坏生成质量：T过低会导致模型反复输出相同词汇，T过高则会让生成结果变成无意义的随机拼接。
创造性任务中的最佳取值
故事创作、诗歌生成、广告文案、头脑风暴等场景对文本的多样性和新颖性有较高要求。如果Temperature设置得太低，模型会倾向于输出最常见、最保守的表达，导致内容平淡无奇。适当提高温度可以让模型跳出高频词的限制，尝试一些低频但更有趣的词汇组合，从而产生令人眼前一亮的创意。
对于这类创造性任务，推荐的Temperature区间通常是0.7到1.0。0.7是一个比较平衡的值，既能保留一定的文本连贯性，又能提供适度的随机性。1.0则更加开放，适合需要发散思维的场景。有些开发者会尝试1.2甚至更高的值，但实践经验表明，超过1.2后模型很容易开始胡言乱语，因为每个token的概率分布过于均匀，语义约束几乎失效。下面的代码示例展示了在创造性任务中设置temperature和top_p的常见方式。
# 创造性任务：写科幻短篇开头
response = client.chat.completions.create(
model="gpt-4",
messages=[{"role": "user", "content": "写一个发生在火星殖民地的悬疑故事开头"}],
temperature=0.8,
top_p=0.9,
max_tokens=500
)
设置0.8的温度，再配合top_p为0.9的核采样，可以在保持叙事逻辑的同时增加细节的不可预测性。实际使用中，如果发现生成内容过于平淡，可以每次微调0.1逐步提高温度；如果发现内容已经出现逻辑断裂，则适当回调。不同模型对温度的敏感度不同，需要根据模型规模、微调数据以及具体任务来测试。
确定性任务中的最佳取值
代码生成、数学计算、事实问答、翻译、文本摘要等任务对准确性要求极高，输出需要稳定、可复现。在这些场景下，Temperature应当设置得较低。推荐范围是0到0.3。设置为0时，模型每次都会选择概率最高的token，相当于贪心解码，输出结果完全确定。这对代码生成尤其有用，因为代码的语法和逻辑不允许随机发挥。
不过完全使用0温度也有副作用。贪心解码容易导致模型陷入重复循环，例如连续输出同一个词或同一句短语，尤其是在生成长文本时。因此实践中常把Temperature设为0.1或0.2，既保留了极小的随机性来打破循环，又不会影响答案的确定性。下面的示例展示了在确定性任务中如何配置参数。
# 确定性任务：用Python实现快速排序
response = client.chat.completions.create(
model="gpt-4",
messages=[{"role": "user", "content": "用Python实现快速排序算法，并添加注释"}],
temperature=0.2,
top_p=1.0,
max_tokens=800
)
低温度下的另一个优势是可复现性。当你在调试一个基于大模型的应用时，能够稳定复现上一次的输出对于排查问题非常重要。虽然API服务本身可能存在微小的非确定性，但降低温度可以最大程度减少这种波动。需要注意的是，低温度不代表可以忽略其他参数，例如max_tokens设置过短可能会截断代码，导致语法不完整。
与top-p、top-k配合的调参策略
Temperature并不是独立工作的参数，它需要与top-p（核采样）和top-k（候选截断）协作才能发挥最佳效果。top-p在温度缩放之后对概率累积进行截断，只从累积概率达到阈值的最小token集合中采样；top-k则直接限制只考虑概率最高的k个token。这三个参数的组合决定了解码策略的最终行为。
推荐的调参顺序是先根据任务类型确定Temperature区间，再调整top-p或top-k来控制候选集大小。对于创造性任务，温度可以设在0.7到1.0，top-p设在0.9左右，这样既保留了高温度的多样性，又不至于让模型从整个词表中随机抽取。对于确定性任务，温度设在0到0.3，此时top-p可以适当放宽到1.0，因为温度已经足够压缩分布，熵值较低，核截断的必要性不大。
实际微调时，建议采用小批量测试的方法：固定一个参数，系统地改变另一个参数，观察输出在多样性、连贯性、准确性三个维度的变化。例如保持temperature为0.8，依次测试top_p为0.7、0.8、0.9、1.0，记录生成结果的主观评分。通过这种对比实验，可以找到最适合当前应用场景的参数组合。记住，没有一套参数适合所有任务，理解每个参数背后的机制，才能在不同需求间游刃有余。
Temperature参数创造性任务确定性任务修改时间：2026-10-01 02:29:38