Qwen2.5 模型使用初体验

  1. 环境准备
python 复制代码
conda create -n my_vllm python==3.9.19 pip
conda activate my_vllm
pip install modelscope
pip install vllm
  1. 模型下载
python 复制代码
# 模型下载
# modelscope默认安装路径:/root/.cache/modelscope/hub/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen2.5-72B-Instruct-GPTQ-Int8', local_dir='/home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8')

参考文档:

魔搭社区

效率评估 - Qwen

  1. 直接服务器vllm启动测试
python 复制代码
vllm serve /home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8 --tensor-parallel-size 2 --max-model-len 256

参考文档:

https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html

相关推荐
struggle20257 分钟前
LinuxAgent开源程序是一款智能运维助手,通过接入 DeepSeek API 实现对 Linux 终端的自然语言控制,帮助用户更高效地进行系统运维工作
linux·运维·服务器·人工智能·自动化·deepseek
无敌小茶1 小时前
Linux学习笔记之动静态库
linux·笔记
程序员JerrySUN2 小时前
驱动开发硬核特训 · Day 21(上篇) 抽象理解 Linux 子系统:内核工程师的视角
java·linux·驱动开发
雨声不在3 小时前
debian切换用户
linux·服务器·debian
不知名。。。。。。。。3 小时前
Linux—— 版本控制器Git
linux·运维·git
内网渗透3 小时前
OpenWrt 与 Docker:打造轻量级容器化应用平台技术分享
linux·docker·容器·openwrt·软路由
易保山4 小时前
MIT6.S081 - Lab11 networking(网络栈)
linux·操作系统·c
2302_799525744 小时前
【Linux】第十二章 安装和更新软件包
linux·运维·服务器
ImAlex5 小时前
Linux脚本实现自动化运维任务实战案例:系统自动备份、日志轮转、系统更新、资源监控、自动化定时任务调度
linux·运维
杨凯凡5 小时前
Linux日志分析:安全运维与故障诊断全解析
linux·运维·服务器