AI大模型配置项

AI大模型配置项

下文将简述大模型通用的几个配置项。

1.temperature

取值0~2 浮点数值

temperature 翻译成中文是温度的意思,在首次看到这个参数时很困惑,大模型设置温度,很奇怪。通过翻阅说明,解释未数值越高更具创造性,数值越低越保守。对于不同类型应该设置未不同的温度,如下表所示:

根据表格总结为,一些固定的知识、法律条文,就设置较低的温度,避免自己创造。需要创造性的,则设置为高值。

2.maxToken

表示设置token的最大数量,如果超过maxtoken就终端。

在一个对话中,一次问答返回结果,不是一个token。比如这里的给大模型发送你好,返回内容是:你好!😊 有什么可以帮你的吗?,实际上使用了19个token

3.stop

截断你不想输出的内容

比如:

复制代码
	ai:
	  openai:
	    api-key: sk-e78e58b2b203474aaeae24d7d4b60034
	    base-url: https://api.deepseek.com
	    chat:
	      options:
	        model: deepseek-chat
	        temperature: 0.7
	        stop: 
	          - "\n"
	          - "###"
	          - "政治"
	          - "最后总结一下"

当返回中包含stop 里设置的关键字,会截取掉该关键字后面的所有内容。

相关推荐
wumingxiaoyao8 小时前
从 0 开始学 AI:第 2 课,AI、机器学习、深度学习和大模型是什么关系?
人工智能·深度学习·机器学习·ai·大模型·llm
leonshi10 小时前
Embedchain 是什么?用最简单的话讲清楚一个"AI 知识问答工具框架"
ai·rag
带刺的坐椅11 小时前
Agent Harness 实战指南:构建生产级 AI Agent 的"马具"框架
java·ai·llm·agent·solon-ai
weigangwin12 小时前
LlamaIndex 第一次试用:别先写 RAG Demo,先验上下文合同
python·ai·agent·rag·检索·llamaindex·观测性
Ricky_Theseus12 小时前
路由模式:智能分发 + 垂直 Agent
ai
XLYcmy13 小时前
核内调度问题的分层优化:缓存管理与性能均衡策略 模型评价 模型缺点与改进方向
缓存·ai·启发式算法·图神经网络·遗传算法·数模·模拟退火
wumingxiaoyao16 小时前
从 0 开始学 AI:第 4 课,CPU、GPU、显存和算力基础
人工智能·ai·cpu·gpu·显存
Dragon Wu16 小时前
ComfyUI ReActor需要下载检测模型的解决方案
人工智能·ai
雨辰AI16 小时前
【零基础实战】大模型入门面试 100 问:基础概念 + 环境实操(一问一答版,直接背诵)
人工智能·ai·面试·职场和发展·ai编程
Sam092716 小时前
【AI 算法精讲 16】BPE 分词:从字节对到子词
人工智能·python·算法·ai