大模型输入参数学习

在大语言模型(如Transformer-based模型)中,生成文本时通常会用到一些控制生成过程的参数。这些参数可以帮助调整生成文本的质量、多样性和可控性。以下是对几个参数的详细解释:

具体使用需要根据具体情况自行酌定

1. top_p (Nucleus Sampling)

  • 含义 :top_p 是一种采样策略,称为"核采样"(Nucleus Sampling) 或"Top-p 采样"。它选择累积概率分布中前 p% 的词作为候选词,然后从这些候选词中随机选择下一个词。
  • 作用 :通过设置 top_p,可以控制生成文本的多样性。较小的 top_p 值会导致更保守的选择,生成的文本可能更连贯但缺乏多样性;较大的 top_p 值会导致更多的随机性和多样性,但可能会引入不相关的词。
  • 取值范围 :0 < top_p ≤ 1。通常情况下,top_p 设置为 0.9 或 0.95 是比较常见的选择。

2. top_k (Top-k Sampling)

  • 含义 :top_k 是另一种采样策略,称为"Top-k 采样"。它选择概率最高的前 k 个词作为候选词,然后从这些候选词中随机选择下一个词。
  • 作用 :通过设置 top_k,可以控制生成文本的多样性。较小的 top_k 值会导致更保守的选择,生成的文本可能更连贯但缺乏多样性;较大的 top_k 值会导致更多的随机性和多样性,但可能会引入不相关的词。
  • 取值范围 :top_k 是一个正整数。通常情况下,top_k 设置为 50 或 100 是比较常见的选择。

3. temperature

  • 含义 :temperature 是一个控制生成文本随机性的参数。它用于调整输出概率分布的平滑度。
  • 作用 :较高的 temperature 值会使概率分布更加平坦,增加生成文本的随机性和多样性;较低的 temperature 值会使概率分布更加尖锐,减少生成文本的随机性,使生成的文本更加确定和连贯。
  • 取值范围 :temperature > 0。通常情况下,temperature 设置为 0.7 或 1.0 是比较常见的选择。

4. max_new_tokens

  • 含义 :max_new_tokens 是一个控制生成文本长度的参数。它指定了生成的新 tokens 的最大数量。
  • 作用 :通过设置 max_new_tokens,可以控制生成文本的长度。较大的值会导致生成更长的文本,而较小的值会导致生成较短的文本。
  • 取值范围 :max_new_tokens 是一个非负整数。具体取值取决于你的需求,例如生成一个段落可能需要 50 到 100 个 tokens,生成一篇文章可能需要几百个 tokens。

总结

  • top_p 和 top_k:用于控制生成文本的多样性和连贯性。较小的值会使生成的文本更连贯但缺乏多样性,较大的值会使生成的文本更随机和多样。
  • temperature:用于控制生成文本的随机性。较高的值增加随机性,较低的值增加确定性。
  • max_new_tokens:用于控制生成文本的长度。
相关推荐
Bowen_J10 分钟前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple
IT_陈寒21 分钟前
Redis那个过期删除策略,差点让我线上崩了
前端·人工智能·后端
阿里云大数据AI技术40 分钟前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
字节跳动开源1 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·开源·设计
Bacon1 小时前
我把 Codex 塞进了 Touch Bar:一个 30pt 高的额度与对话面板
人工智能
衡石科技1 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
网易云信2 小时前
折叠屏适配,iPhone Duo 真机已交付:网易云信 IMUIKit Swift 的实践
人工智能
瑞克-桑切斯2 小时前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
Be for thing3 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
十有八七3 小时前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端