解决Dify中接入xinference模型无法开关思考模式和使用function calling的问题

1、无法开关思考模式

不知道大家有没有发现使用xinference作为模型供应商时,是没有是否启用思考模式的开关的。比如在调用qwen3时,使用xinference就不显示开关,而qwen官方api调用是可以显示的。

这大概率是因为dify没有在xinference做适配导致的。要解决这个问题也很简单,只需要使用另一个插件OpenAI-API-compatible就可以了,他可以兼容任何满足openai调用格式的模型。

2、qwen3无法使用function calling

自己部署qwen3时,想要使用function call功能,则必须在添加模型时选择tool call,不然没法调用工具。

这样就可以正确调用工具了。

相关推荐
余衫马1 小时前
llama.cpp:本地大模型推理的高性能 C++ 框架
c++·人工智能·llm·llama·大模型部署
deephub1 小时前
Google开源Tunix:JAX生态的LLM微调方案来了
人工智能·深度学习·google·微调·大语言模型·jax
数据与人工智能律师2 小时前
数字人民币钱包抉择:匿名自由与实名安全的法律风险评估
大数据·人工智能·python·云计算·区块链
云安全联盟大中华区2 小时前
以美为鉴:构建现代化的核能行业网络安全合规体系--为人工智能革命提供动力
人工智能·安全·web安全
沉默媛2 小时前
扩散模型-图像编辑【An Edit Friendly DDPM Noise Space: Inversion and Manipulations】
人工智能·计算机视觉·cvpr·扩散模型·图像编辑·ddpm
nju_spy2 小时前
2023 美赛C Predicting Wordle Results(上)
人工智能·机器学习·数学建模·数据挖掘·arima·时间序列预测·相关性分析
Hcoco_me2 小时前
YOLO入门教程(番外):卷积神经网络—图像卷积
深度学习·yolo·cnn
用户5191495848452 小时前
网络安全工具与社区讨论月报
人工智能·aigc
技术闲聊DD3 小时前
深度学习(1)-利用Pytorch2结合U-Net大模型实现图像降噪
pytorch·深度学习·手写体识别·u-net模型
用户5191495848453 小时前
AWS Direct Connect在菲律宾马卡蒂市推出100G扩展服务
人工智能·aigc