Qwen2.5 模型使用初体验

  1. 环境准备
python 复制代码
conda create -n my_vllm python==3.9.19 pip
conda activate my_vllm
pip install modelscope
pip install vllm
  1. 模型下载
python 复制代码
# 模型下载
# modelscope默认安装路径:/root/.cache/modelscope/hub/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen2.5-72B-Instruct-GPTQ-Int8', local_dir='/home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8')

参考文档:

魔搭社区

效率评估 - Qwen

  1. 直接服务器vllm启动测试
python 复制代码
vllm serve /home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8 --tensor-parallel-size 2 --max-model-len 256

参考文档:

https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html

相关推荐
ghostwritten33 分钟前
k8s黑科技:Linux+Vagrant+VirtualBox开启Kubernetes奇幻之旅
linux·科技·kubernetes
the_nov1 小时前
14.网络套接字TCP
linux·c++·网络协议
电星托马斯1 小时前
C++中顺序容器vector、list和deque的使用方法
linux·c语言·c++·windows·笔记·学习·程序人生
愚润求学2 小时前
【Linux】Linux权限
linux·服务器·语法
麻芝汤圆2 小时前
使用 MapReduce 进行高效数据清洗:从理论到实践
大数据·linux·服务器·网络·数据库·windows·mapreduce
令狐少侠20113 小时前
Ubuntu 24.04.2 LTS 系统安装python,创建虚拟环境
linux·python·ubuntu
the_nov3 小时前
11.多线程-信号量-线程池
linux·c++
程序员JerrySUN4 小时前
Linux UART 驱动开发全解析:从原理到实战
linux·运维·驱动开发
博观而约取4 小时前
Linux 和 macOS 终端中常见的快捷键操作
linux·运维·macos
林政硕(Cohen0415)5 小时前
Linux驱动开发进阶(三)- 热插拔机制
linux·驱动开发·热插拔