Windows10本地部署Dify+Xinference

目录

前言

一、安装必要项

1.安装Docker和AnaConda

2.安装Xinference

3.通过Xinference部署本地glm4-chat-1m

4.验证glm4-chat-1m是否部署完成

5.安装Dify

三、Dify中配置大模型

1.浏览器输入http://localhost:80启动Dify页面

2.随便注册账户登录

3.配置Xinference

四、运行Dify

1.设置系统推理模型

2.对话窗口验证

总结


前言

本文档在基于Windows10的本地电脑上部署使用Dify,其中必要用到的Xinference大模型管理框架,使用的大模型为GLM4-Chat-1m。

前置条件:确保已安装Anaconda、Python、Cuda。

一、安装必要项

1.安装Docker和AnaConda

Docker: Accelerated Container Application Developmenthttps://www.docker.com/

下载 Anaconda Distribution |蟒蛇https://www.anaconda.com/download

2.安装Xinference

打开Anaconda命令行页面

输入命令:

  • conda create --name xinference python==3.12
  • conda activate xinference
  • pip install xinference[transformers]
  • pip install xinference[vllm],有问题,只装transformers也行
  • xinference-local --host 本机IPV4地址 --prot 9997(ps:查询本机IP:[cmd]输入ipconfig)

浏览器输入本机IP:9997后如下图:

3.通过Xinference部署本地glm4-chat-1m

4.验证glm4-chat-1m是否部署完成

5.安装Dify

官网下载源码https://github.com/langgenius/dify,例如下载到D:\dify

打开cmd,执行以下代码

  • cd D:\dify\docker
  • docker compose up -d

Docker中查看是否部署成功,启动即可

三、Dify中配置大模型

1.浏览器输入http://localhost:80启动Dify页面

2.随便注册账户登录

3.配置Xinference

前置条件:Xinference正常运行中

点击右上角头像---设置---模型供应商---XorbitsInference---添加模型

  • 模型类型选择LLM
  • 模型名称随便填,自己看的
  • 服务器URL填写Xinference的IPV4地址+端口:http://192.168.0.167:9997
  • 模型UID填写Xinference中的模型ID:glm4-chat-1m
  • 选择保存

四、运行Dify

1.设置系统推理模型

2.对话窗口验证


总结

以上就是在Windows 10环境下部署本地的Dify和Xinference,因为笔者是玩Unity出身,当前只是业余时间研究,有问题欢迎指正和探讨~

相关推荐
哥布林学者10 小时前
吴恩达深度学习课程一:神经网络和深度学习 第三周:浅层神经网络(二)
深度学习·ai
weixin_5195357710 小时前
从ChatGPT到新质生产力:一份数据驱动的AI研究方向指南
人工智能·深度学习·机器学习·ai·chatgpt·数据分析·aigc
OpenCSG11 小时前
【活动预告】2025斗拱开发者大会,共探支付与AI未来
人工智能·ai·开源·大模型·支付安全
万俟淋曦14 小时前
【论文速递】2025年第28周(Jul-06-12)(Robotics/Embodied AI/LLM)
人工智能·ai·机器人·大模型·论文·robotics·具身智能
万俟淋曦16 小时前
【论文速递】2025年第29周(Jul-13-19)(Robotics/Embodied AI/LLM)
人工智能·ai·机器人·论文·robotics·具身智能
Ashley的成长之路16 小时前
AI搜索中的幻觉问题:成因、解决方案与最佳实践
ai·ai搜索·ai幻觉·ai幻觉解决方案
Elastic 中国社区官方博客17 小时前
Elasticsearch 推理 API 增加了开放的可定制服务
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
AI360labs_atyun1 天前
AI教育开启新篇章
人工智能·百度·ai
CoderJia程序员甲1 天前
GitHub 热榜项目 - 日榜(2025-10-17)
ai·llm·github·开源项目·github热榜
Elastic 中国社区官方博客1 天前
根据用户行为数据中的判断列表在 Elasticsearch 中训练 LTR 模型
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索