OpenAI GPT 模型 API 接口新增参数 top_logprobs 和 logprobs

文章目录

🍉 CSDN 叶庭云:https://yetingyun.blog.csdn.net/


一、前言

在最新的 OpenAI 官方 APIs 文档中,Create chat completion 中新增了 top_logprobs 和 logprobs 这两个关键参数。

官方文档地址:https://platform.openai.com/docs/api-reference/chat/create

  • logprobs:是否返回 output tokens 的对数概率(布尔类型,默认为 False)。如果为真,则返回消息内容中返回的每个 output token 的对数概率。目前 gpt-4-vision-preview 模型还不支持此选项。
  • top_logprobs:一个介于 0 到 5 之间的整数,指定在每个 token 位置返回最有可能的 tokens ,并且每个 token 都有一个关联的对数概率。如果使用了这个参数,logprobs 就必须设置为 True

显然,这两个参数被设计为协同工作。理论上,调整 top_logprobs 和 logprobs 不应导致输出的 tokens 数量增加,从而避免了额外的 API 调用成本。


二、主要内容

OpenAI 的 GPT 模型 API 接口新增的 top_logprobs 和 logprobs 参数可以帮助我们理解和调试大模型的输出结果,减轻幻觉问题,提高输出的确定性和可靠性。

分享要点:

  • OpenAI 的 GPT 模型 API 接口新增的 top_logprobs 和 logprobs 参数可帮助理解和调试大语言模型的输出。返回每个 token 及其后续 n 个单词的概率,判断是否输出幻觉结果。
  • 使用这两个参数可减轻大模型幻觉问题。通过设置合适的 temperature 值和观察每个 token 的概率,判断输出的确定性和可靠性,避免与直觉不符的结果。
  • 在实际应用中,这两个参数非常有价值。聊天应用可设置较高 temperature 值,增加多样性;回答科学问题可设置较低 temperature 值,避免错误信息。
  • top_logprobs 和 logprobs 参数提高了大模型应用的可控性,之前无法获得每个 token 位置返回最有可能的 tokens。
  • 通过困惑度解释生成结果具有一定应用价值,根据每个 token 的对数概率计算困惑度,判断输出的确定性。
  • 这两个参数降低幻觉问题,提高输出的确定性,增强模型的实用性和可靠性。在实际应用中,可以根据需求和场景设置参数,以达到最佳输出效果和应用效果。

这个 Notebook 演示了在「Create chat completion API」中使用 logprobs 参数。启用了 logprobs,则 API 将返回每个输出令牌的对数概率,以及在每个令牌位置上最有可能的有限数量的令牌及其对数概率。logprobs 的关键点:

  • 更高的对数概率表明在该上下文中 token 生成的可能性更大。
  • logprob 可以是任何负数或 0.0,0.0 对应于 100% 概率。
  • logprobs 允许我们计算作为对数概率的单个 token 的总和的序列的联合概率
  • 此外,还重点介绍了 logprobs 在分类任务、检索评分和自动补全中的应用,以及如何基于 logprobs 评估模型的置信度和模型对特定问题的捕捉程度。

三、总结

这篇博客介绍了如何使用 Chat Completions API 的 logprobs 和 top_logprobs 参数来获取输出 tokens 的概率信息,以及如何利用这些信息来实现不同的应用场景。这篇博客的要点有:

  • logprobs 参数的作用:logprobs 参数可以让 API 返回每个输出 token 的对数概率,以及每个 token 位置的最有可能的几个候选 tokens 及其对数概率。这些信息可以帮助用户评估模型的置信度,探索模型的备选响应,计算输出序列的整体概率,以及处理特殊字符或表情符号等。
  • logprobs 参数的用例 :logprobs 参数可以用于多种场景,例如:
    • 分类任务:logprobs 参数可以提供每个类别预测的概率,让用户可以设置自己的分类或置信阈值。
    • 检索任务:logprobs 参数可以用于自我评估检索内容是否包含足够的信息来回答问题,从而减少基于检索的幻觉和提高准确性。
    • 自动完成任务:logprobs 参数可以用于动态地推荐下一个单词或 token,但只在模型对下一个单词很有把握的时候。
  • bytes 参数的作用:bytes 参数可以返回每个输出 token 的 ASCII(十进制 utf-8)值,这些值可以用于编码和解码每个 token,特别是包含表情符号或特殊字符的 token。

📚️ 参考链接:

相关推荐
狸克先生4 小时前
如何用AI写小说(二):Gradio 超简单的网页前端交互
前端·人工智能·chatgpt·交互
新加坡内哥谈技术7 小时前
Mistral推出“Le Chat”,对标ChatGPT
人工智能·chatgpt
nbsaas-boot8 小时前
如何利用ChatGPT加速开发与学习:以BPMN编辑器为例
学习·chatgpt·编辑器
hunteritself1 天前
ChatGPT高级语音模式正在向Web网页端推出!
人工智能·gpt·chatgpt·openai·语音识别
Doker 多克1 天前
Spring AI 框架使用的核心概念
人工智能·spring·chatgpt
曼城周杰伦1 天前
自然语言处理:第六十二章 KAG 超越GraphRAG的图谱框架
人工智能·pytorch·神经网络·自然语言处理·chatgpt·nlp·gpt-3
爱技术的小伙子1 天前
【ChatGPT】ChatGPT在多领域知识整合中的应用
chatgpt
学习前端的小z1 天前
【AIGC】如何准确引导ChatGPT,实现精细化GPTs指令生成
人工智能·gpt·chatgpt·aigc
段传涛2 天前
LLM( Large Language Models)典型应用介绍 1 -ChatGPT Large language models
人工智能·语言模型·chatgpt
起名字真南2 天前
【C++】深入理解 C++ 中的继承进阶:多继承、菱形继承及其解决方案
java·jvm·c++·chatgpt·aigc