在AI时代,大语言模型(LLM)如 ChatGPT 或Gemini 已成为我们的“数字大脑”。如果你经常使用这些大模型,那你肯定见过Temperature 和 TopP 这两个参数。比如 ChatGPT 的API文档就有介绍:

testfather.cn

根据描述:

  • Temperature(温度): 取值在 0 到 2 之间。较高的值(如 0.8)将使输出更加随机,而较低的值(如 0.2)将使输出更加集中和确定。

  • Top P(核采样) :温度采样的替代方法。模型仅考虑概率质量排名前 P% 的标记的结果。例如,0.1 表示仅考虑概率排名前 10% 的标记。

看到这里,你可能觉得已经懂了:它们就是控制随机性的开关嘛。值越高越发散,值越低越保守。

但仔细一想,问题来了:

  1. 为什么同样一个问题,AI 有时回答得很保守,有时却明显更发散?

  2. 为什么值越高越随机,越低越稳定?

  3. 如果它们控制的都是随机性,为什么需要两个参数?

  4. 如果把一个调高,另一个调低,效果会中和吗?

带着这些问题,我们来尝试拆解一下大模型中最容易影响输出质量的几个参数:temperature、top-k、top-p。

testfather.cn

1. 大模型是如何回答问题的?

在深入了解这些参数之前,我们先要知道 AI 是怎么回答问题的,在前面内容学习中,相信你已经知道了,大模型是如何预测下一个字的。

大模型的输出,本质上是根据提示词来预测下一个词出现的概率,更准确地说,是根据上文,预测下一个最有可能出现的词(Token),重复此过程直到生成结束符。

想象一下,AI 就像一个你的超级博学的好朋友,每次你问它问题,它脑子里都会冒出很多种可能的回答。比如你问"今天天气怎么样?",它可能想到~

  • "今天天气很好"(概率 40%)
  • "今天阳光明媚"(概率 30%)
  • "今天万里无云"(概率 15%)
  • "今天适合出游"(概率 10%)
  • "今天紫外线很强"(概率 5%)

AI 会根据这些概率来决定最终说什么,而我们今天要讲的几个参数,就是用来调整这个"决策过程"的。

假设我们的提示词是:

Twinkle twinkle little

此时,大模型会根据已有的提示词,生成一个“下一个词”的概率表。下图是一个 0~100 的坐标轴,把这些被预测的词按照概率大小放在这个坐标轴上。概率越高,占据的区间就越大。

testfather.cn

接下来,大模型会基于这个概率分布进行一次随机采样。你可以把这个过程想象成生成了一个随机数。这个随机数落在哪个区间,就输出对应区间的那个词。

我们可以看到,star 这个词出现的概率是最高的,因此大模型输出的结果有很大的概率是:

Twinkle twinkle little star

上述的这个过程可以拆解为三个关键步骤:生成分数 (Logits) --> 转换概率 (Softmax) -->加权采样 (Sampling)。

testfather.cn

步骤1: 生成分数(Logits)

我们用一个简单例子说明:当用户提问“帮我推荐一个学习 AI 大模型技术的频道”时,模型会扫描它词表里成千上万个词,并为每一个词打分。这个分数在 AI 领域被称为 Logits。

假设模型打分后,排名前五的词如下:

  • AI:4.2
  • 科技:4.1
  • 奇舞:3.9
  • 自行车:1.8
  • Hello:1.4

打分过程比较复杂,好在跟我们今天的内容关系不大,我们可以暂且忽略。

在大型语言模型(LLM)完成对所有词汇的评分后,下一步的关键在于如何从这些分数中选择最合适的词作为输出。一种直观且常用的方法是选择得分最高的词。

例如,假设模型在预测序列中的下一个词时,对词汇表中的每个词都进行了评分,比如上面例子中的 "AI" 这个词获得了最高分。那么,模型会选择 "AI" 作为当前步骤的输出。

接下来,模型会将 "AI" 这个词添加到输入序列中,并再次进行下一个词的预测。这意味着模型会重新评估词汇表中的每个词,并为它们分配新的分数。同样,模型会选择得分最高的词作为下一个输出。

这个过程会不断重复,模型逐个输出每一个词,并将每个新生成的词添加到输入序列中,以影响后续词的预测。这种迭代式的生成过程会持续进行,直到模型输出一个特殊的结束标识符(例如 "")为止。结束标识符的出现标志着文本生成的完成。

【原文图片暂缺】

虽然选择得分最高的词是一种简单直接的解码策略,但它也存在一些局限性:

  • 缺乏多样性: 这种策略倾向于选择最常见的词,导致生成的文本缺乏多样性和创造性。模型可能会陷入重复的模式,生成平淡无奇的内容。
  • 对噪声敏感: 如果模型在某个步骤中给出了错误的高分,那么这个错误可能会被放大,导致后续生成的文本偏离预期。
  • 忽略上下文: 虽然模型会将之前生成的词作为输入,但简单地选择最高分可能会忽略更长远的上下文信息,导致生成的文本不连贯或不自然。

这样简单的选择分数最高的词显然是不合适的,我们需要给其他词,比如“科技”或“奇舞”一定机会。聪明的你肯定想到了,把这些词的分数转为概率,让模型按照概率来预测下一个词。提到转换概率,这就轮到大名鼎鼎的 Softmax 函数 登场了。

步骤2: 转换概率(Softmax函数)

Softmax函数就相点复杂了,这里就不扩展讲了,简单来说,Softmax函数会保证所有词的概率相加为100%。

截屏2025-12-04 21.36.38

testfather.cn

步骤3:加权采样 (Sampling)

得到了每个词的概率后,就需要根据概率来生成下一个预测的值。一般称这个通过概率来生成预测值的过程为: 加权采样。可以用一个从0到100这个区间的横轴来举例。

”AI“这个词的概率为36%,那么在横轴上给它分配0到36这段区间,科技的概率是32%,我们就给它分配随后的长度为32的这段区间,以此类推。

testfather.cn

然后生成一个0到100的随机数。比如说随机数是8,落到了这个[0,36]这个区间,我们就选择 AI。这个就叫做给每个词分配与概率相等的机会。这意味着,虽然“AI”概率最高,但模型也有机会选择“科技”或“奇舞”。这种机制保证了回答的合理性,同时赋予了 AI 创造力和变化。

在理解了这个基本原理之后,下面我们来看几个具体参数是如何影响大模型“选词过程”的。

2、影响大模型输出常用参数

2.1 Temperature (温度)

Temperature(温度)是控制 AI 回答生成文本随机性和创意性的参数,它控制的是“贫富差距”,低 T 拉大差距,高 T 缩小差距。取值范围通常是 0 到 2。

本质上来说,Temperature 是通过调整候选答案的概率分布来工作的

testfather.cn

我们以上述提示词为例:

复制代码

Twinkle twinkle little

当 Temperature 的值被调低时,各个候选词之间的概率差距会被放大,原本概率高的词被选中的可能性也就更高,大模型输出的结果会更加稳定。原本 star 与 car 的概率差距约为 19.6;而当 Temperature 被降低到 0.5 时,这个差距明显增大,在当前示例中达到了 36.1。

testfather.cn

与之相反,当 Temperature 的值被调高时,各个候选词之间的概率差距会缩小,一些原本概率较低的词也更容易被选中,大模型输出的结果会更加随机。下图是 Temperature 被增加到 1.68 时,各个候选词之间的概率差距。

testfather.cn

需要注意的是,Temperature 并不会改变“有哪些词是可能的”,而是改变这些词之间的概率差距。如果没有 Temperature,大模型就是一台只会背书的复读机。

Temperature(温度)概率选取建议:

  • 低温(0.1-0.5):当 T 很小时(如 0.1),分数被放大,高分词的优势被无限拔高,低分词的概率被压缩至近乎为 0。模型几乎只选第一名,输出极度稳定、保守,只偏爱那几个最高概率的词,适用于代码生成、事实性问答、摘要生成、需要高度准确性和连贯性的场景、技术文档编写,避免模型“胡言乱语”,但输出结果也可能会乏味、重复。
  • 中温(0.7-1.0):模型保持原始的预测概率分布,不做任何修改,适用于大多数通用场景。(大多数的大模型Temperature 通常默认值是 0.7 或 1.0)
  • 高温(接近 2):当 T 很大时(如 2.0),分数被缩小。差异被拉平,指数运算后的结果差别不大。概率分布变得平缓。高分词优势不再明显,长尾词(不太可能但也可行)的词也有了被选中的机会,讲究的是众生平等,结果输出会更加随机、多样、有创意,甚至可能跑题、荒谬、出现小错误。适用于创意写作(诗歌、故事、歌词)、头脑风暴、生成多样化答案、增加趣味性。

temperature 参数值建议:

  • 创意写作:使用较高值(0.7-1.0)以增加多样性

  • 问答系统:使用较低值(0.2-0.5)以确保准确性

  • 代码生成:使用极低值(0.1-0.3)以保持逻辑一致性

  • 默认推荐:0.7 是平衡创造性和准确性的良好起点

参数小结

“温度参数就像给模型的‘想象力’拧开关。温度高,模型放飞自我,天马行空;温度低,模型一本正经,只讲最保险的‘标准答案’。写科幻小说调高点,写法律合同调低点。”

总结一句话:“想让模型严谨就调低,想让模型有创造力就调高。”

2.2 Top-k (采样数)

Top-k 采样参数是用来控制参与选择的候选词数量,即划定“候选词”的范围。

当 Top-k 等于 1 时,大模型只会考虑概率最高的那个词,因此输出结果会变得非常确定。

img

testfather.cn

当 Top-k 等于 5 时,大模型会从概率最高的前 5 个词中选择一个词作为最终结果,其余词不会被考虑。

img

testfather.cn

形象比喻

考试结束后,老师只看前 K 名高分学生的卷子,然后根据他们的分数高低(对应概率大小),随机抽一个学生作为“标准答案”,Top-k 就是设定这个 K 值。

  • K 小 (如设为3、5、10):只看最顶尖的几个“学霸”(高概率词),从他们中选。输出更安全、更集中、更可预测,但也可能错过一些潜在的、有趣的“偏科天才”(中低概率但有意义的词)。

  • K 大 (如设为30、50、100):允许更多“中等生”(中低概率词)进入候选池。输出更丰富、更多样化、更有惊喜,但也可能抽到一些“学渣”(极低概率的、不靠谱的词)导致输出质量不稳定。

技术本质

  1. 模型计算出所有词的概率分布。
  2. 只保留概率最高的前 k 个词。
  3. 将这 k 个词的原始概率重新归一化(确保它们的概率和为 1)。
  4. 从这个新的归一化后的概率分布中随机抽取下一个词。

优势:比纯随机采样(在整个词表上采样)更高效,可以避免选择那些极其不可能的单词,提供了一定的可控性。

劣势:

  • 如果 k 太小,会排除掉许多合理的、能丰富文本的中等概率词。
  • 如果 k 太大,可能让极低概率词混入,导致不连贯或无意义的输出。
  • 对分布形状敏感:有些文本上下文中,高概率词就那么5-6个;有些则可能前20个词概率差异不大。固定 k 可能在不同上下文中带来不一致的多样性。这在长文本生成时可能尤其明显。

使用场景

  • 小 k (10-20): 需要高确定性、高连贯性的任务。适合短文本生成。
  • 中等 k (40-100): 平衡多样性和质量的通用场景。
  • 不推荐非常大 k (接近词表大小): 基本退化回纯随机采样,失去控制意义。
  • 有时会与 temperature 联用: 先用 temperature 调整原始分布,再用 top-k 过滤。

参数小结:

“Top-k 是模型选词时的‘只看班级前几名’规则。K值小,模型‘势利眼’,只认学霸;K值大,模型‘有教无类’,但也可能抓个捣蛋鬼出来。关键是让模型在该‘靠谱’的时候靠谱,该‘出格’的时候有出格的机会。”

2.3 Top-p (核采样)

Top-p(也叫 nucleus sampling,核采样)全称为:Top Cumulative Probability(最高累加概率),P指的就是一个概率阈值。模型从高分词开始往下累加概率,一旦累加值超过 P,后面的词全部切掉。

该参数决定 了AI 从多大的候选答案池中选择,取值范围是 0 到 1,按概率累积。

模型会从概率最高的词开始,逐个向下累加,当累计概率达到 Top_p 所设定的值时,就只保留这些词作为候选,其余词会被过滤掉。

例如,当 Top_p = 0.6 时,模型只会在“累计概率已经达到 60%”的那一部分词中进行选择。

testfather.cn

随后,这些被保留下来的词会被重新归一化,保证整体概率仍然是 100%。

testfather.cn

因此,Top_p 控制的是“概率覆盖范围”,而不是候选词的数量。

想象你在自助餐厅选菜

  • Top-p = 1.0:整个餐厅所有菜都可以选,从招牌菜到冷门小菜
  • Top-p = 0.9:只看最受欢迎的那些菜,直到它们的"受欢迎度"加起来达到 90%
  • Top-p = 0.5:只从最热门的几道菜里选,其他根本不看

Top-p 会把候选答案按概率从高到低排序,然后累加概率,直到达到设定的阈值

testfather.cn

假设 AI 生成下一个词的候选有

词语 概率 累计概率
天气 35% 35%
阳光 25% 60%
今天 20% 80%
很好 10% 90%
明媚 5% 95%
舒适 3% 98%
晴朗 2% 100%
  • Top-p = 0.6:只考虑"天气"和"阳光"(累计到 60%)
  • Top-p = 0.9:考虑前四个词(累计到 90%)
  • Top-p = 1.0:考虑所有候选词

形象比喻:

大学招生不只看绝对排名(top-k),而是设定一个“最低录取分数线”:把所有申请学生按成绩(概率)从高到低排队,录取到累积分数(概率和)刚好超过分数线 p 为止的那批学生。然后在这批“合格学生”(一个动态变化大小的群体)中,按成绩比例随机录取一人。Top-p 就是设定这个分数线 p。

Top P 就像一个动态的门槛,这种方法动态地调整候选词汇数量,相比固定数量的选择更灵活:

  • p 小 (比如设为0.1、0.3): 只保留最头部的几个词、概率累积占整体很小一部分的词能进入候选池,输出非常保守。

  • p 大 (比如设为0.9、0.95): 允许更多可能性的词进入候选池,保留多样性,丰富性、同时切除极不靠谱的尾部。

技术本质:

  1. 模型计算出所有词的概率分布。
  2. 将这些词按概率从高到低排序。
  3. 计算排序后的累积概率和。
  4. 只保留累积概率和首次达到或超过 p 的那部分词。例如,p=0.92,那么保留的最小的那组词,其累积概率 ≥ 0.92。
  5. 将这些保留的词的原始概率重新归一化。
  6. 从这个新的归一化后的概率分布中随机抽取下一个词。

使用场景

  • p 在 0.7 - 0.95 之间比较常用。(0.9最常用)

  • p=0.9 或 0.92 通常是一个不错的起点,被认为在许多任务中提供了良好的多样性-质量平衡,适合需要长文本连贯性、创意写作、对话生成等强调整体质量和自然多样性的场景。

参数小结

Top-k (死板排名):只取前几名,Top-p (动态范围):取合格线的

“Top-p 比 top-k 更‘聪明’,它能根据当前上下文概率分布,动态调整候选池的大小,它不看固定名额,而是按‘分数段’招生(p 就是分数线)。不管高分学生有多少,只要加起来过线就算合格,然后按实力随机挑。这样模型就能在不同场景下灵活调整‘候选池’规模,避免 top-k 的‘刻板印象’,通常效果更好更稳定,是现在的主流选择。”

2.4 最佳实践

首先,说结论:Top-k 和 Top-p 一般不同时用!通常建议只选用其中一个来控制候选池的范围,top-p 通常是首选。

最常见的组合: Temperature + Top-p

例如:temperature=0.7, top_p=0.9,这是 OpenAI API 和许多现代大模型应用的默认或推荐设置。

一般只调整 temperature 或 top_p 其中一个,不要两个一起乱调。一般建议 temperature 保持默认0.7或1.0,可以先动 top_p,观察效果变化,效果稳定后再考虑叠加。从默认值附近小步调整,比一上来极端值(如 top_p=0.1)更稳。

合理配置 LLM 参数对于获得理想的生成效果至关重要,在实际应用中,我们需要根据具体任务需求来平衡创造性、准确性和性能。(temperature=0.7, top_p=0.9)在多数场景下都能提供良好的输出质量,这也是大多数场景下的默认配置。

上述这些参数的本质其实都是在做同一件事:在模型预测的下一个词的概率分布上动手脚,从而影响最终生成文本的特性。理解它们,能更好的掌握如何“驾驭”大模型的创造力。

需要注意,没有万能值! 不要试图寻找“完美通用参数”,根据场景来选择,不同模型、不同任务、不同提示词(Prompt)的最佳参数组合都不同,迭代实验是关键!

上述提到的这些模型参数可以通过LangChain、LlamaIndex开发框架 或OpenAI Playground、WEB UI等可视化调试工具进行调整。

觉的有用,点个赞吧