windows下xinference无法加载本地大模型问题解决

一、打开C盘权限

1 打开【开始】菜单

2 找到windows工具,打开

3 找到命令行

4 右键

5 以管理员身份运行

6 输入:icacls frpc_windows_amd64_v0.2 /grant Users:(RX)

7 等待几分钟

二、创建软链接

以管理员身份在命令行运行下面命令

mklink /d E:\\XinferenceFiles\\cache\\custom-glm4-chat-pytorch-9b E:\\glm_4_9b_chat

启动成功:

C:\Windows\System32>mklink /d E:\\XinferenceFiles\\cache\\custom-glm4-chat-pytorch-9b E:\\glm_4_9b_chat

为 E:\\XinferenceFiles\\cache\\custom-glm4-chat-pytorch-9b <<===>> E:\\glm_4_9b_chat 创建的三、命令方式启动模型

1 在E:\glm_4_9b_chat下创建一个custom-glm4-chat.json配置文件

内容为:

{

"version": 1,

"context_length": 131072,

"model_name": "custom-glm4-chat",

"model_lang": [

"en",

"zh"

],

"model_ability": [

"chat",

"tools"

],

"model_family": "glm4-chat",

"model_specs": [

{

"model_format": "pytorch",

"model_size_in_billions": 9,

"quantizations": [

"4-bit",

"8-bit",

"none"

],

"model_id": "THUDM/glm-4-9b-chat",

"model_uri": "E:\\glm_4_9b_chat"

}

]

}

2 启动xinference,执行下面命令

xinference-local --host 127.0.0.0 --port 9997

3 打开inference的命令行,切换到大模型路径下E:\glm_4_9b_chat

4 注册模型

xinference register --model-type LLM --file custom-glm4-chat.json --persist

5 开启模型

xinference launch --model-name custom-glm4-chat --model-format pytorch --model-engine Transformers

参考链接:

【Gradio-Windows-Linux】解决share=True无法创建共享链接,缺少frpc_windows_amd64_v0.2_gradio share=true-CSDN博客

无错误!xinference部署本地模型glm4-9b-chat、bge-large-zh-v1.5_xinference加载本地模型-CSDN博客

使用xinference下载大模型之后存储的位置

:"E:\XinferenceFiles\modelscope\hub\ZhipuAI\glm-4-9b-chat\modeling_chatglm.py"

相关推荐
都叫我大帅哥4 小时前
LangChain分层记忆解决方案:完整案例
python·langchain
alex1005 小时前
AI Agent开发学习系列 - langchain之LCEL(5):如何创建一个Agent?
人工智能·python·语言模型·langchain·prompt·向量数据库·ai agent
青Cheng序员石头8 小时前
Prompt Engineering vs Vibe Coding vs Context Engineering
langchain·llm·aigc
数据智能老司机8 小时前
构建由 LLM 驱动的 Neo4j 应用程序——使用 Neo4j 和 Haystack 实现强大搜索功能
langchain·llm·aigc
都叫我大帅哥1 天前
🚀 LangGraph终极指南:从入门到生产级AI工作流编排
python·langchain
showyoui1 天前
LangChain vs LangGraph:从困惑到清晰的认知之路(扫盲篇)
langchain·ai编程
_一条咸鱼_1 天前
LangChain记忆序列化与持久化方案源码级分析(37)
人工智能·面试·langchain
数据智能老司机1 天前
构建由 LLM 驱动的 Neo4j 应用程序——揭开 RAG 的神秘面纱
langchain·llm·aigc
数据智能老司机1 天前
构建由 LLM 驱动的 Neo4j 应用程序——构建智能应用的知识图谱基础理解
langchain·llm·aigc
数据智能老司机1 天前
构建由 LLM 驱动的 Neo4j 应用程序——使用电影数据集构建你的Neo4j图数据库
langchain·llm·aigc