AI大模型配置项

AI大模型配置项

下文将简述大模型通用的几个配置项。

1.temperature

取值0~2 浮点数值

temperature 翻译成中文是温度的意思,在首次看到这个参数时很困惑,大模型设置温度,很奇怪。通过翻阅说明,解释未数值越高更具创造性,数值越低越保守。对于不同类型应该设置未不同的温度,如下表所示:

根据表格总结为,一些固定的知识、法律条文,就设置较低的温度,避免自己创造。需要创造性的,则设置为高值。

2.maxToken

表示设置token的最大数量,如果超过maxtoken就终端。

在一个对话中,一次问答返回结果,不是一个token。比如这里的给大模型发送你好,返回内容是:你好!😊 有什么可以帮你的吗?,实际上使用了19个token

3.stop

截断你不想输出的内容

比如:

复制代码
	ai:
	  openai:
	    api-key: sk-e78e58b2b203474aaeae24d7d4b60034
	    base-url: https://api.deepseek.com
	    chat:
	      options:
	        model: deepseek-chat
	        temperature: 0.7
	        stop: 
	          - "\n"
	          - "###"
	          - "政治"
	          - "最后总结一下"

当返回中包含stop 里设置的关键字,会截取掉该关键字后面的所有内容。

相关推荐
意法半导体STM324 小时前
STM32N6引入NPU,为边缘AI插上“隐形的翅膀”
单片机·ai·npu·st·stm32n6·边缘人工智能
老艾的AI世界6 小时前
AI去、穿、换装软件下载,无内容限制,偷偷收藏
图像处理·人工智能·深度学习·神经网络·目标检测·机器学习·ai·换装·虚拟试衣·ai换装·一键换装
javgo.cn6 小时前
Spring AI Alibaba - 聊天机器人快速上手
人工智能·ai·机器人
m0_603888711 天前
Stable Diffusion Models are Secretly Good at Visual In-Context Learning
人工智能·ai·stable diffusion·论文速览
CF5241 天前
深入解析Prompt缓存机制:原理、优化与实践经验
ai
ai绘画-安安妮1 天前
零基础学LangChain:核心概念与基础组件解析
人工智能·学习·ai·程序员·langchain·大模型·转行
MicrosoftReactor2 天前
技术速递|通过 GitHub Models 在 Actions 中实现项目自动化
ai·自动化·github·copilot
爱刘温柔的小猪2 天前
openai-agent使用本地模型并进行流式输出
python·ai
m0_603888712 天前
LLaMA-Adapter V2 Parameter-Efficient Visual Instruction Model
人工智能·深度学习·ai·llama·论文速览