debain12.9使用gpustack部署推理模型

Eddy5x2025-03-29 9:47

debain12.9使用gpustack部署推理模型

基础环境准备

基础环境安装

下载模型

shell 复制代码 
modelscope download --model 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B' --local_dir 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B'

部署模型


相关推荐
ViperL18 分钟前
[智能计算]AutoDiffusion-基于进化NAS的扩散模型
人工智能·深度学习·计算机视觉
外收内放25 分钟前
面向对象高级（实战案例）
开发语言·python·学习
专业程序开发源1 小时前
springboot欧缇蔓月子中心管理系统82697-计算机课程设计、毕业设计
java·spring boot·后端·python·spring·django·课程设计
FPGA小迷弟1 小时前
用 Claude Code 重构遗留系统：从评估到落地的完整实践指南
c++·python·ai·plotly·django·ai编程·claude
卷无止境1 小时前
面向arm64桌面客户端开发全景：语言、框架与生态
后端·python
薛定e的猫咪1 小时前
（ICLR 2020）MAML 靠的不是快速学习，而是特征复用
人工智能·深度学习·学习·算法·机器学习
fanruitian1 小时前
python else用法
开发语言·python
薛定e的猫咪2 小时前
（ICLR 2026）DF-META：面向 FJSP 的无导数元学习实例自适应调度
人工智能·深度学习·学习·算法·机器学习
tellmewhoisi2 小时前
深度学习1:基本概念，感知机，激活函数(阶跃，sigmoid,Tanh函数)
人工智能·深度学习
Thinker QAQ2 小时前
并发编程（十一）：Shared Memory 与 Message Passing——关系与组合使用
java·python·go·并发编程·shared memory·message passing
热门推荐
01ai安全工具:CyberStrikeAI安装部署与使用02国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）03如何新建文件夹？ 电脑新建文件夹的4种方法04GitHub 镜像站点05历年考研数学一、数学二、数学三真题试卷及答案PDF06几个好用的ip纯净度检测网站07乙二醇水溶液物性参数08昇腾910B系列芯片完全指南：四款型号对比、服务器选型与大模型部署实战09「全语录+省流版」邵艾伦 × 孙宇晨：聊风口、聊个人IP、聊年轻人如何抓住 AI 时代的机会10苹果iPA游戏软件资源下载网站