Qwen2.5 模型使用初体验

  1. 环境准备
python 复制代码
conda create -n my_vllm python==3.9.19 pip
conda activate my_vllm
pip install modelscope
pip install vllm
  1. 模型下载
python 复制代码
# 模型下载
# modelscope默认安装路径:/root/.cache/modelscope/hub/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen2.5-72B-Instruct-GPTQ-Int8', local_dir='/home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8')

参考文档:

魔搭社区

效率评估 - Qwen

  1. 直接服务器vllm启动测试
python 复制代码
vllm serve /home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8 --tensor-parallel-size 2 --max-model-len 256

参考文档:

https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html

相关推荐
2501_920047032 小时前
git在Linux中的使用
linux·git·elasticsearch
程序设计实验室3 小时前
在鸡哥14x上安装Linux:Fedora 42 上手体验
linux
UNbuff_03 小时前
Linux bzip2 命令使用说明
linux·运维·服务器
IOT-Power3 小时前
Ubuntu下把 SD 卡格式化为 FAT32
linux·运维·ubuntu
嫩萝卜头儿3 小时前
虚拟地址空间:从概念到内存管理的底层逻辑
linux·服务器·网络
proware4 小时前
昇腾310i Pro固件说明
linux·运维·服务器
爱的si念5 小时前
嵌入式ARM64 基于RK3588原生SDK添加用户配置选项./build lunch & debian
linux·debian·嵌入式
穷人小水滴5 小时前
在 VirtualBox 虚拟机中安装 Fedora CoreOS 操作系统
linux·virtualbox·fedora
随意0236 小时前
文件I/O与I/O多路复用
linux
大聪明-PLUS6 小时前
像 Docker 一样创建虚拟网络
linux·嵌入式·arm·smarc