部署大模型

一:原模型

1.下载ollama

2.下载模型

复制代码
ollama run qwen2.5:7b-instruct   # 下载完就运行(终端对话)

# ollama run qwen2.5:7b-instruct-q4_K_M  
# 更小的量化模型

3.后续启动

复制代码
ollama run qwen2.5:7b-instruct

补充:在ollama图形界面部署,点击"+",找到模型下载路径

二:微调后的大模型

1.合并

lora权重+底座模型

复制代码
llamafactory-cli export \
--model_name_or_path /mnt/c/Users/hsp/.cache/modelscope/hub/models/Qwen/Qwen2.5-7B-Instruct \
--model_type qwen2 \
--template qwen \
--finetuning_type lora \
--lora_dir ./lora_qwen \
--export_dir ./full_model    # 完整模型

2.Ollama 只认 GGUF

工具

复制代码
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

转gguf

复制代码
python convert-hf-to-gguf.py ../full_model --outtype q4_K_M --outfile qwen2.5-finetuned.gguf

创建模型

复制代码
ollama create qwen2.5-mymodel -f- <<EOF
FROM qwen2.5-finetuned.gguf
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
{{ .Response }}<|im_end|>"""
PARAMETER temperature 0.7
PARAMETER num_ctx 8192
EOF

部署

复制代码
ollama run qwen2.5-mymodel

三:删除模型

ollama

复制代码
ollama list

ollama rm qwen2.5:7b-instruct

modelscop

复制代码
rmdir /s /q C:\Users\hsp\.cache\modelscope  # 所有模型

modelscope clear-cache --model Qwen/Qwen2.5-7B-Instruct

rm -rf ~/.cache/modelscope   # 缓存
相关推荐
AI算力2 小时前
让安全驾驶有“AI”相伴|腾视科技DMS视频监控一体机,守护每一次出行
人工智能·科技·ai·车载终端·ai算力·车载智能终端·车载dvr
泯泷2 小时前
超越基准:Claude Opus 4.5 的 4 个惊人洞察
人工智能
果果软件3 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
Csvn3 小时前
刚开始用 WorkBuddy,第一步该做什么?
人工智能
一水鉴天3 小时前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
Wellijohn3 小时前
一个 Android 老兵的十年开源路:从 167 star 的滑动控件,到本地优先的 AI Agent
android·人工智能·开源
ZONGYUAN-ROOT3 小时前
【API配额】API 配额监控告警不生效?用 Python 监控读数变化量,抓住静态阈值漏掉的「假重置」
人工智能
Wellijohn4 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
伞伞悦读5 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习