debain12.9使用gpustack部署推理模型

Eddy5x2025-03-29 9:47

debain12.9使用gpustack部署推理模型

基础环境准备

基础环境安装

下载模型

shell 复制代码 
modelscope download --model 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B' --local_dir 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B'

部署模型


相关推荐
漠北尘-Gavin24 分钟前
【Python3.12.9安装llama-cpp-python遇到编译报错问题解决】
python·llama
测试老哥1 小时前
什么是集成测试？集成的方法有哪些？
自动化测试·软件测试·python·测试工具·职场和发展·单元测试·集成测试
豆芽8191 小时前
Conda配置Python环境
python·conda·pip
CANI_PLUS1 小时前
python 列表-元组-集合-字典
开发语言·python
东方佑1 小时前
使用 Python 自动处理 Excel 数据缺失值的完整指南
开发语言·python·excel
zew10409945882 小时前
基于深度学习的手势识别系统设计
人工智能·深度学习·算法·数据集·pyqt·yolov5·训练模型
weixin_478689762 小时前
pytorch与其他ai工具
人工智能·pytorch·python
豆芽8192 小时前
核函数（机器学习深度学习）
人工智能·深度学习
枫林血舞2 小时前
python笔记之函数
笔记·python
热门推荐
01【笔记】MJ Prompt02RAG 实践- Ollama+RagFlow 部署本地知识库03DeepSeek各版本说明与优缺点分析04uniApp使用XR-Frame创建3D场景(3)光源投影的运用。05本地化部署AI知识库：基于Ollama+DeepSeek+AnythingLLM保姆级教程06从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑07【通信中间件】Fdbus HelloWorld实例08苍穹外卖面试总结09如何在WPS和Word/Excel中直接使用DeepSeek功能10HTML项目一键打包工具：HTML2EXE 最新版