解决Dify中接入xinference模型无法开关思考模式和使用function calling的问题

1、无法开关思考模式

不知道大家有没有发现使用xinference作为模型供应商时,是没有是否启用思考模式的开关的。比如在调用qwen3时,使用xinference就不显示开关,而qwen官方api调用是可以显示的。

这大概率是因为dify没有在xinference做适配导致的。要解决这个问题也很简单,只需要使用另一个插件OpenAI-API-compatible就可以了,他可以兼容任何满足openai调用格式的模型。

2、qwen3无法使用function calling

自己部署qwen3时,想要使用function call功能,则必须在添加模型时选择tool call,不然没法调用工具。

这样就可以正确调用工具了。

相关推荐
瑞华丽PLM10 小时前
国产PLM软件源头厂家的AI技术应用与智能化升级
人工智能·plm·国产plm·瑞华丽plm·瑞华丽
koo36410 小时前
pytorch深度学习笔记19
pytorch·笔记·深度学习
xixixi7777710 小时前
基于零信任架构的通信
大数据·人工智能·架构·零信任·通信·个人隐私
玄同76510 小时前
LangChain v1.0+ Prompt 模板完全指南:构建精准可控的大模型交互
人工智能·语言模型·自然语言处理·langchain·nlp·交互·知识图谱
Ryan老房10 小时前
开源vs商业-数据标注工具的选择困境
人工智能·yolo·目标检测·计算机视觉·ai
取个鸣字真的难10 小时前
Obsidian + CC:用AI 打造知识管理系统
人工智能·产品运营
困死,根本不会11 小时前
OpenCV摄像头实时处理:基于 HSV 颜色空间的摄像头实时颜色筛选工具
人工智能·opencv·计算机视觉
Shirley~~11 小时前
Vue-skills的中文文档
前端·人工智能
华大哥11 小时前
AI大模型基于LangChain 进行RAG与Agent智能体开发
人工智能·langchain
Sagittarius_A*11 小时前
角点检测:Harris 与 Shi-Tomasi原理拆解【计算机视觉】
图像处理·人工智能·python·opencv·计算机视觉