解决Dify中接入xinference模型无法开关思考模式和使用function calling的问题

1、无法开关思考模式

不知道大家有没有发现使用xinference作为模型供应商时,是没有是否启用思考模式的开关的。比如在调用qwen3时,使用xinference就不显示开关,而qwen官方api调用是可以显示的。

这大概率是因为dify没有在xinference做适配导致的。要解决这个问题也很简单,只需要使用另一个插件OpenAI-API-compatible就可以了,他可以兼容任何满足openai调用格式的模型。

2、qwen3无法使用function calling

自己部署qwen3时,想要使用function call功能,则必须在添加模型时选择tool call,不然没法调用工具。

这样就可以正确调用工具了。

相关推荐
吴佳浩6 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_0910 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区11 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔11 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区11 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM12311 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI11 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健12 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV12 小时前
Google 重返第一梯队
人工智能·google·aigc