Qwen2.5 模型使用初体验

  1. 环境准备
python 复制代码
conda create -n my_vllm python==3.9.19 pip
conda activate my_vllm
pip install modelscope
pip install vllm
  1. 模型下载
python 复制代码
# 模型下载
# modelscope默认安装路径:/root/.cache/modelscope/hub/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen2.5-72B-Instruct-GPTQ-Int8', local_dir='/home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8')

参考文档:

魔搭社区

效率评估 - Qwen

  1. 直接服务器vllm启动测试
python 复制代码
vllm serve /home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8 --tensor-parallel-size 2 --max-model-len 256

参考文档:

https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html

相关推荐
胡斌附体38 分钟前
linux测试端口是否可被外部访问
linux·运维·服务器·python·测试·端口测试·临时服务器
愚润求学1 小时前
【Linux】自旋锁和读写锁
linux·运维
大锦终1 小时前
【Linux】常用基本指令
linux·运维·服务器·centos
IT项目管理1 小时前
达梦数据库DMHS介绍及安装部署
linux·数据库
知北游天1 小时前
Linux:多线程---深入互斥&&浅谈同步
linux·运维·服务器
Gappsong8741 小时前
【Linux学习】Linux安装并配置Redis
java·linux·运维·网络安全
try2find2 小时前
移动conda虚拟环境的安装目录
linux·运维·conda
码农101号2 小时前
Linux中容器文件操作和数据卷使用以及目录挂载
linux·运维·服务器
PanZonghui2 小时前
Centos项目部署之Nginx 的安装与卸载
linux·nginx
PanZonghui3 小时前
Centos项目部署之安装数据库MySQL8
linux·后端·mysql