AI大模型配置项

AI大模型配置项

下文将简述大模型通用的几个配置项。

1.temperature

取值0~2 浮点数值

temperature 翻译成中文是温度的意思,在首次看到这个参数时很困惑,大模型设置温度,很奇怪。通过翻阅说明,解释未数值越高更具创造性,数值越低越保守。对于不同类型应该设置未不同的温度,如下表所示:

根据表格总结为,一些固定的知识、法律条文,就设置较低的温度,避免自己创造。需要创造性的,则设置为高值。

2.maxToken

表示设置token的最大数量,如果超过maxtoken就终端。

在一个对话中,一次问答返回结果,不是一个token。比如这里的给大模型发送你好,返回内容是:你好!😊 有什么可以帮你的吗?,实际上使用了19个token

3.stop

截断你不想输出的内容

比如:

复制代码
	ai:
	  openai:
	    api-key: sk-e78e58b2b203474aaeae24d7d4b60034
	    base-url: https://api.deepseek.com
	    chat:
	      options:
	        model: deepseek-chat
	        temperature: 0.7
	        stop: 
	          - "\n"
	          - "###"
	          - "政治"
	          - "最后总结一下"

当返回中包含stop 里设置的关键字,会截取掉该关键字后面的所有内容。

相关推荐
才思喷涌的小书虫4 分钟前
DINO-X 视觉模板挑战赛火热报名中
人工智能·目标检测·计算机视觉·ai·数据标注·图像标注·模型定制
ShadowSmartMicros5 分钟前
SpringAi调用Mcp
java·ai
陈橘又青14 分钟前
开创性的初创企业利用 Amazon SageMaker孵化器释放企业价值
人工智能·网络协议·学习·ai·编辑器
才学15 分钟前
Ubuntu 22.04上安装docker-compose
ai
HyperAI超神经19 分钟前
预测精度可提升60%,清华李勇团队提出神经符号回归方法,自动推导高精度网络动力学公式
人工智能·ai·数据挖掘·地球科学·神经符号
沛沛老爹21 分钟前
Web开发者进阶AI Agent:LangChain提示词模板与输出解析器实战
人工智能·ai·langchain·llm·agent·提示词·web转型
不会吉他的肌肉男不是好的挨踢男28 分钟前
SearXNG AI 的免费搜索引擎api 调用
搜索引擎·ai·大模型·serxng
营销操盘手阿泽36 分钟前
企业GEO服务商选择指南:从精密制造到零售连锁的实战对比分析
ai
爱笑的眼睛1112 小时前
超越MSE与交叉熵:深度解析损失函数的动态本质与高阶设计
java·人工智能·python·ai
土星云SaturnCloud13 小时前
液冷“内卷”:在局部优化与系统重构之间,寻找第三条路
服务器·人工智能·ai·计算机外设