Debug:mlx-omni-server服务器用qwen3模型出错

背景:AI回答出错,开始以为是代码问题使得之前的对话出现在上下文,没想到是mlx-omni-server的问题

debug过程:

最开始比较好运地在github论坛找到同样的问题,大概率确认服务器出错。

之后用copilot写了一个简单的go代码重现情况,并通过服务器log监视thinking process有没有包含旧提问信息。

调查发现哪怕用独立client也可能会吃到之前的错误内存。另外换成deepseek等模型也会有同样问题。

于是考虑更换server tool,从chatgpt推荐里选择了ollama。ollama同样支持openai的api,所以后端代码不用修改。

LLM server安装都很简单,不用过多设置,一条指令就能启动服务。测试后发现之前的bug被解决。

之后需要补上api-key的认证,但这时发现ollama不支持api-key。好在openai的api token认证和http的bearer token认证格式一致,所以加一层nginx检查token即可。

相关推荐
CoderJia程序员甲17 分钟前
GitHub 热榜项目 - 日榜(2026-05-03)
ai·大模型·llm·github·ai教程
knight_9___2 小时前
LLM工具调用面试篇5
人工智能·python·深度学习·面试·职场和发展·llm·agent
feasibility.2 小时前
量化:LLM与CV模型的极致压缩艺术
人工智能·科技·llm·边缘计算·量化·cv·压缩
树獭非懒2 小时前
LangChain 不是框架,而是一把瑞士军刀
人工智能·程序员·llm
冬奇Lab4 小时前
RAG 系列(六):向量数据库——存储与检索的基础设施
数据库·人工智能·llm
冬奇Lab15 小时前
RAG 系列(五):Embedding 模型——语义理解的核心
人工智能·llm·aigc
SkySeraph1 天前
SkillNexus:开源 Skills 全生命周期创造平台
llm·agent·skill·skillnexus
wj3055853781 天前
Ollama Cloud 与直接使用 API 的对比
llm·llama
无糖可乐没有灵魂1 天前
AI Agent结构图例和工作流程描述
ai·llm·prompt·agent·mcp·skills
冬奇Lab2 天前
RAG 系列(四):文档处理——从原始文件到高质量 Chunk
人工智能·llm·源码