debain12.9使用gpustack部署推理模型

Eddy5x2025-03-29 9:47

debain12.9使用gpustack部署推理模型

基础环境准备

基础环境安装

下载模型

shell 复制代码 
modelscope download --model 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B' --local_dir 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B'

部署模型


相关推荐
u01092727138 分钟前
RESTful API设计最佳实践（Python版）
jvm·数据库·python
我材不敲代码5 小时前
Python实现打包贪吃蛇游戏
开发语言·python·游戏
0思必得07 小时前
[Web自动化] Selenium处理动态网页
前端·爬虫·python·selenium·自动化
韩立学长7 小时前
【开题答辩实录分享】以《基于Python的大学超市仓储信息管理系统的设计与实现》为例进行选题答辩实录分享
开发语言·python
大山同学7 小时前
图片补全-Context Encoder
人工智能·机器学习·计算机视觉
qq_192779877 小时前
高级爬虫技巧：处理JavaScript渲染（Selenium）
jvm·数据库·python
薛定谔的猫19827 小时前
十七、用 GPT2 中文对联模型实现经典上联自动对下联：
人工智能·深度学习·gpt2·大模型 训练 调优
u0109272717 小时前
使用Plotly创建交互式图表
jvm·数据库·python
爱学习的阿磊7 小时前
Python GUI开发：Tkinter入门教程
jvm·数据库·python
Imm7778 小时前
中国知名的车膜品牌推荐几家
人工智能·python
热门推荐
01GitHub 镜像站点02Clawdbot 中文汉化版 接入微信、飞书03OpenClaw部署与配置教程：在Mac mini上接入国产大模型与飞书042026美赛A题智能手机电池续航时间预测的连续时间数学模型05OpenCode 入门教程：介绍 · 安装 · 配置第三方 API (如 Claude)06Linux下V2Ray安装配置指南07UV安装并设置国内源08Claude Code + GLM4.7 避坑指南：解决 Unable to connect to Anthropic services092025 年大语言模型发展回顾：关键突破、意外转折与 2026 年展望10Claude Code Skills 实用使用手册