debain12.9使用gpustack部署推理模型

Eddy5x2025-03-29 9:47

debain12.9使用gpustack部署推理模型

基础环境准备

基础环境安装

下载模型

shell 复制代码 
modelscope download --model 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B' --local_dir 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B'

部署模型


相关推荐
zkmall13 分钟前
推荐算法工程化：ZKmall模板商城的B2C 商城的用户分层推荐策略
算法·机器学习·推荐算法
龙湾开发16 分钟前
轻量级高性能推理引擎MNN 学习笔记 02.MNN主要API
人工智能·笔记·学习·机器学习·mnn
勘察加熊人22 分钟前
Python+Streamlit实现登录页
开发语言·python
DavieLau26 分钟前
Python开发后端InfluxDB数据库测试接口
服务器·数据库·python·时序数据库
CopyLower40 分钟前
Java与AI技术结合：从机器学习到生成式AI的实践
java·人工智能·机器学习
Tech Synapse40 分钟前
联邦学习图像分类实战：基于FATE与PyTorch的隐私保护机器学习系统构建指南
pytorch·机器学习·分类
workflower1 小时前
使用谱聚类将相似度矩阵分为2类
人工智能·深度学习·算法·机器学习·设计模式·软件工程·软件需求
文人sec1 小时前
接口自动化测试设计思路--设计实战
python·https·单元测试·自动化·pytest
子燕若水1 小时前
Flask 调试的时候进入main函数两次
后端·python·flask
编程有点难1 小时前
Python训练打卡Day23
开发语言·python
热门推荐
01YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】02从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑03KGG转MP3工具|非KGM文件|解密音频04DeepSeek各版本说明与优缺点分析05【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！06Coze扣子平台完整体验和实践（附国内和国际版对比）07组基轨迹建模 GBTM的介绍与实现（Stata 或 R）08yolov8，yolo11，yolo12 服务器训练到部署全流程 笔记09苍穹外卖面试总结10YOLOv5改进 | 添加CA注意力机制 + 增加预测层 + 更换损失函数之GIoU