大模型调音台：Temperature与Top P参数深度测评

先理解底层逻辑：大语言模型怎样“挑选”下一个词？

在调整参数之前，必须先吃透一个核心机制：大语言模型每次生成一个token，本质上是在执行一次概率抽样——从词表中“抓阄”。这个流程远比想象中更直白。

举个例子，当你输入“今天天气真”，模型会给词表内每个候选词分配一个原始分数（logits），再通过数学变换转换成选择概率：

词表概率分布（示例）:"好"→ 0.35(35%)"不错"→ 0.20(20%)"热"→ 0.15(15%)"冷"→ 0.10(10%)"糟糕"→ 0.05(5%)...其他几千个词 → 0.15(15%)

接下来的关键步骤是采样（Sampling）——依据这个概率分布，抽取一个词作为输出。

于是核心问题来了：具体怎么抽才合理？

• 每次都选概率最高的词？听起来靠谱，但过于机械，生成内容完全雷同。
• 完全按概率随机抽取？又太随意，容易离谱甚至胡言乱语。
• 因此，需要 Temperature 和 Top P 这两把“调节旋钮”来精准把控。

一、Temperature：掌控输出的“创造力刻度”

1.1 一句话定义

Temperature（温度）直接改变概率分布的“形状”——是更尖锐（集中）还是更平滑（均匀）。

• Temperature 偏高 → 分布变平坦，候选词之间的概率差异缩小 → 输出更随机、更具创意，但也可能“跑偏”。
• Temperature 偏低 → 分布变陡峭，高概率词的优势被放大 → 输出更确定、更保守，即常说的“不整活”。
• Temperature 设为 0 → 等效于每次只选概率最高的词，即贪心解码（Greedy Decoding）。

1.2 数学原理（一句话即可说清）

背后的计算简单得令人意外：

logits_after = logits / temperatureprobs = softmax(logits_after)

仅此一步：将模型输出的原始分数（logits）除以温度值，再执行 softmax 转换。温度越低，分母越小，数值被放大，概率差距拉大；温度越高，分母越大，数值被压缩，概率趋于均匀。

看一个直观的例子就全明白了。下面用简单代码模拟五个候选词在不同温度下的概率分布变化：

import torchimport torch.nn.functional as Fdef apply_temperature(logits, temperature):"""logits: 模型原始输出 (vocab_size,)temperature: 温度参数"""# 核心操作：logits 除以 temperaturescaled_logits = logits / temperature# 然后 softmax 转概率probs = F.softmax(scaled_logits, dim=-1)return probs# ============ 直观感受不同温度的效果 ============logits = torch.tensor([2.0, 1.0, 0.5, 0.1, -1.0])# 5个候选词for t in [0.1, 0.5, 1.0, 2.0, 5.0]:probs = apply_temperature(logits, t)print(f"T={t}: {probs.numpy().round(3)}")

输出结果：

T=0.1: [0.881 0.107 0.006 0.004 0.001] ← 几乎锁定第一个词T=0.5: [0.576 0.241 0.105 0.051 0.026] ← 倾向第一位，但其他也有入选几率T=1.0: [0.351 0.192 0.117 0.071 0.031] ← 原始分布，这是默认状态T=2.0: [0.227 0.185 0.149 0.114 0.077] ← 分布越来越均匀T=5.0: [0.167 0.154 0.141 0.124 0.104] ← 几乎接近完全随机均匀分布

1.3 用一个比喻理解

可以把模型选词想象成选秀比赛中的评委打分：

1.4 不同场景的推荐值

二、Top P（核采样）：精准划定采样范围

2.1 为什么需要 Top P？

Temperature 虽好用，但它是对整个概率分布“一视同仁”地缩放。这会导致一个尴尬局面：有时模型对某个词的偏好极强，比如“好”的概率已达 0.9，其他成千上万词合起来才 0.1。此时哪怕把 Temperature 调得很高，模型大概率还是选“好”，因为差距太大，拉都拉不平。

但在另一些场景中，概率分布相当平坦，多个候选词的概率接近：

"继续往下说" 的续写概率:"因为"→ 0.25"所以"→ 0.20"而且"→ 0.18"但是"→ 0.15"不过"→ 0.10...其他 → 0.12

此时最理想的做法是让模型从几个高概率词中挑选，而不是偶尔冒出一个概率仅 0.01 的“怪词”带偏整句。

这就是 Top P（又称核采样，Nucleus Sampling）要解决的问题。它就像在主持节目时只从当前最热门的几个选项里选，忽略那些冷门奇葩。

2.2 核心思想

Top P 的操作非常朴素：将候选词按概率从高到低排序，从第一个开始逐一累加概率，直到累计值超过阈值 P 为止。累加范围内的词保留，后面的低概率选项直接淘汰，仅在这个划定的“圈子”内采样。

Top P = 0.9 的示例:排序后的概率:"好"→ 0.35累计: 0.35✅"不错"→ 0.20累计: 0.55✅"热"→ 0.15累计: 0.70✅"冷"→ 0.10累计: 0.80✅"糟糕"→ 0.05累计: 0.85✅"还行"→ 0.06累计: 0.91❌ 超过 0.9，截断！...其他全部丢弃最终采样范围: [“好”, “不错”, “热”, “冷”, “糟糕”]

2.3 代码实现

看一遍代码更容易理解：

import torchimport torch.nn.functional as Fdef top_p_sampling(logits, top_p=0.9):"""logits: (vocab_size,) 模型原始输出top_p: 核采样的概率阈值"""# 1. softmax 得到概率probs = F.softmax(logits, dim=-1)# 2. 按概率从高到低排序sorted_probs, sorted_indices = torch.sort(probs, descending=True)# 3. 计算累计概率cumulative_probs = torch.cumsum(sorted_probs, dim=-1)# 4. 找到累计概率超过 top_p 的位置# 移除累计概率超过 top_p 的词sorted_indices_to_remove = cumulative_probs - sorted_probs > top_p# 5. 把被移除的词的概率设为 0sorted_probs[sorted_indices_to_remove] = 0.0# 6. 重新归一化sorted_probs = sorted_probs / sorted_probs.sum()# 7. 从过滤后的分布中采样next_token = torch.multinomial(sorted_probs, num_samples=1)# 8. 映射回原始词表索引actual_token = sorted_indices[next_token]return actual_token.item()# ============ 使用示例 ============logits = torch.randn(50000)# 假设词表大小 50000# Top P = 0.9：在前 90% 概率的词中采样token = top_p_sampling(logits, top_p=0.9)print(f"采样结果: {token}")

2.4 Top P 的推荐值

三、Top K：Top P 的“前辈”

3.1 Top K 是什么？

在 Top P 出现之前，更常用的是 Top K。它的逻辑更简单粗暴：直接保留概率最高的 K 个词，其余的全部丢弃。

Top K = 3 的示例:原始概率:"好"→ 0.35✅ 保留"不错"→ 0.20✅ 保留"热"→ 0.15✅ 保留"冷"→ 0.10❌ 丢弃"糟糕"→ 0.05❌ 丢弃...其他全部丢弃重新归一化:"好"→ 0.35/0.70 = 0.50"不错"→ 0.20/0.70 = 0.29"热"→ 0.15/0.70 = 0.21

3.2 Top K vs Top P

3.3 代码实现

可以看到，Top K 的思路直接截断，简单干脆：

def top_k_sampling(logits, top_k=50):"""Top K 采样"""# 1. 找到概率最高的 K 个top_k_values, top_k_indices = torch.topk(logits, top_k)# 2. 过滤：把不在 Top K 中的 logits 设为 -inffiltered_logits = torch.full_like(logits, float('-inf'))filtered_logits.scatter_(0, top_k_indices, top_k_values)# 3. softmax 采样probs = F.softmax(filtered_logits, dim=-1)next_token = torch.multinomial(probs, num_samples=1)return next_token.item()

四、Repetition Penalty：防止复读机

4.1 问题来了

大模型有一个常见的“恶习”：喜欢重复自己说过的话。

用户: 讲个笑话模型: 从前有个人，从前有个人，从前有个人...

之所以如此，是因为已生成的词会反过来影响后续概率分布，让模型潜意识里更倾向于“重复自己”。

4.2 Repetition Penalty 怎么解决？

解决思路直截了当：检测到某个词已经出现过，就人为地给它“扣分”，压低再次被选中的概率。

def apply_repetition_penalty(logits, token_ids, penalty=1.2):"""logits: (vocab_size,) 当前步的 logitstoken_ids: 已生成过的 token 列表penalty: 惩罚系数 (> 1.0)"""for token_id in set(token_ids):# 如果 logits > 0，除以 penalty（降低概率）# 如果 logits < 0，乘以 penalty（同样降低概率）if logits[token_id] > 0:logits[token_id] = logits[token_id] / penaltyelse:logits[token_id] = logits[token_id] * penaltyreturn logits# 示例logits = torch.tensor([2.0, 1.5, 0.8, -0.5, -1.0])already_generated = [0, 2]# 词 0 和词 2 已生成过penalized = apply_repetition_penalty(logits.clone(), already_generated, penalty=1.2)print(f"惩罚前: {logits}")print(f"惩罚后: {penalized}")# 惩罚前: tensor([ 2.0,1.5,0.8, -0.5, -1.0])# 惩罚后: tensor([ 1.67,1.5,0.67, -0.6, -1.0])# ↑词0降了↑词2降了

五、参数组合：实战调参指南

5.1 常见组合推荐

理论至此，直接进入实操。针对不同任务，总结一套基础配置供参考：

# ============ 不同场景的参数配置 ============configs = {"代码生成": {"temperature": 0.1,"top_p": 0.1, # 几乎只选最高概率，极度保守"top_k": 1, # 等于是贪心解码，不二选"repetition_penalty": 1.0,# 代码不怕重复，函数名、变量名常重复"max_tokens": 2048,},"中文翻译": {"temperature": 0.3,"top_p": 0.85,"top_k": 40,"repetition_penalty": 1.1,"max_tokens": 1024,},"通用对话": {"temperature": 0.7,"top_p": 0.9, # 最经典的组合，多数场景下首选"top_k": 50,"repetition_penalty": 1.1,"max_tokens": 2048,},"创意写作": {"temperature": 1.0,"top_p": 0.95,"top_k": 100,"repetition_penalty": 1.15,"max_tokens": 4096,},"头脑风暴": {"temperature": 1.2,"top_p": 0.95,"top_k": 100,"repetition_penalty": 1.2, # 创意场景最怕复读，重复想法很乏味"max_tokens": 4096,},}

5.2 调参的黄金法则

实际调试中，可以参照下面这棵简易决策树，遇到问题对号入座：

┌──────────────────────────────────────────────────┐│ 调参决策树│├──────────────────────────────────────────────────┤│││输出太无聊/太重复？││├── 是 → 提高 temperature (0.7 → 1.0) │││提高 top_p (0.9 → 0.95)│││││输出太随机/胡说八道？││├── 是 → 降低 temperature (1.0 → 0.5) │││降低 top_p (0.95 → 0.85) │││││输出一直复读？ ││├── 是 → 提高 repetition_penalty (1.1 → 1.2) │││降低 temperature │││││输出太短就停了？││├── 是 → 检查 max_tokens 是否太小│││检查 stop_sequences 设置│││││想要每次回答一致？││└── 是 → temperature = 0（贪心解码）│││└──────────────────────────────────────────────────┘

5.3 Temperature 和 Top P 能同时用吗？

当然可以，而且在实际应用中，强烈建议两者搭配使用。它们的作用是正交的，各管各的，互不冲突：

• Temperature：控制整体概率分布的“松紧”或“锐度”，是宏观层面的调整。
• Top P：控制在调整后的分布中，允许哪些词参与最终的抽签，是微观层面的划定范围。

两者可以独立调节。一个完整的采样流程在代码里大致如下：

# 完整的采样流程def sample_with_params(logits, temperature=0.7, top_p=0.9, top_k=50):"""完整采样流程：Temperature → Top K → Top P → 采样"""# Step 1: 应用 Temperaturelogits = logits / temperature# Step 2: 应用 Top K 过滤if top_k > 0:top_k_values, top_k_indices = torch.topk(logits, min(top_k, logits.size(-1)))filtered_logits = torch.full_like(logits, float('-inf'))filtered_logits.scatter_(-1, top_k_indices, top_k_values)logits = filtered_logits# Step 3: 应用 Top P（核采样）if top_p < 1.0:sorted_logits, sorted_indices = torch.sort(logits, descending=True)cumulative_probs = torch.cumsum(F.softmax(sorted_logits, dim=-1), dim=-1)sorted_indices_to_remove = cumulative_probs - F.softmax(sorted_logits, dim=-1) > top_psorted_logits[sorted_indices_to_remove] = float('-inf')logits = torch.scatter(logits, -1, sorted_indices, sorted_logits)# Step 4: 采样probs = F.softmax(logits, dim=-1)next_token = torch.multinomial(probs, num_samples=1)return next_token

六、采样策略全景图

除了上述重点介绍的几种，行业内还有一些进阶策略，这里快速列个清单作为知识储备：

写在最后

Temperature 和 Top P 看似只是几个不起眼的数字，但它们实实在在地塑造了模型输出的“性格”：

• Temperature 很低 + Top P 保守 → 像一位严谨得有些刻板的工程师，精准有余，灵性不足。
• Temperature 中等 + Top P 适中 → 像一个正常的对话伙伴，能好好聊天，不出幺蛾子。
• Temperature 很高 + Top P 开放 → 像一个天马行空的艺术家，时不时给你意想不到的惊喜。

弄懂这些参数背后的逻辑，你就能在不同场景下像调音师一样精准操控输出，让模型说出你最想听的话。

调参这件事，本质不在于“试数字”，而在于真正理解“每个参数究竟在控制什么”。希望这篇文章能帮你建立起这种直觉。