Debug:mlx-omni-server服务器用qwen3模型出错

背景:AI回答出错,开始以为是代码问题使得之前的对话出现在上下文,没想到是mlx-omni-server的问题

debug过程:

最开始比较好运地在github论坛找到同样的问题,大概率确认服务器出错。

之后用copilot写了一个简单的go代码重现情况,并通过服务器log监视thinking process有没有包含旧提问信息。

调查发现哪怕用独立client也可能会吃到之前的错误内存。另外换成deepseek等模型也会有同样问题。

于是考虑更换server tool,从chatgpt推荐里选择了ollama。ollama同样支持openai的api,所以后端代码不用修改。

LLM server安装都很简单,不用过多设置,一条指令就能启动服务。测试后发现之前的bug被解决。

之后需要补上api-key的认证,但这时发现ollama不支持api-key。好在openai的api token认证和http的bearer token认证格式一致,所以加一层nginx检查token即可。

相关推荐
GreatVicent1 小时前
腾讯AI产业大会解读:Agent进场,企业基础设施怎么搭
大数据·数据库·人工智能·llm·agent·企业信息化
掰头战士2 小时前
你说你折这玩意干什么-agent工作的核心,还真得好好考虑怎么折叠上下文
typescript·llm·agent
千桐科技2 小时前
qKnow 开源版 v2.4.3 更新解析:从知识数据接入到自定义解析与结果复用
开源·llm·agent·ai智能体·qknow·智能体构建
流浪9253 小时前
从 Vibe Coding 到 LangGraph:AI 时代编程范式的演进与重构
llm
掰头战士3 小时前
让散乱的工具调用成为正规军,今天咱们聊聊 Tool System管线的读写锁
typescript·llm·agent
zLLM_Lab3 小时前
DeepSeek V4.1 Flash 工程实践(二):从权重装配到八卡文本链路
llm·deepseek
桃西西呀6 小时前
提前一天预报雾霾:手搓神经网络,讲清学习率、初始化、正则化
人工智能·深度学习·llm
武子康6 小时前
同一套小智源码,换块 ESP32 开发板为何还要重新适配?
人工智能·llm·agent
桃西西呀7 小时前
AI 客服为什么翻车:一个客服 Agent 的四类结构性问题
人工智能·llm·ai编程
小林ixn7 小时前
别再用正则抠 JSON 了:LangChain 结构化输出的三种正确姿势
人工智能·llm·agent