CentOS Linux 8 的系统部署 Qwen2.5-7B -Instruct-AWQ

安装依赖组件

安装 EPEL 仓库

sudo yum install -y epel-release

安装基础工具链

sudo yum install -y git python3-pip gcc-c++ make

创建 Python 虚拟环境

创建虚拟环境

python3 -m venv qwen-env

source qwen-env/bin/activate

升级 pip 并安装常用库

pip install --upgrade pip

pip install torch==2.1.0+cu118 torchvision==0.16.0+cu118 torchaudio==2.1.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

pip install transformers accelerate bitsandbytes optimum

下载并加载 Qwen2.5-7B-Instruct-AWQ 模型

git clone https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-AWQ

相关推荐
仗剑_走天涯33 分钟前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
乌托邦的逃亡者33 分钟前
Docker的/var/lib/docker/目录占用100%的处理方法
运维·docker·容器
ldj202038 分钟前
Jenkins 流水线配置
运维·jenkins
cnbestec2 小时前
协作机器人UR7e与UR12e:轻量化设计与高负载能力助力“小而美”智造升级
人工智能·机器人·协作机器人·ur协作机器人·ur7e·ur12e
zskj_zhyl2 小时前
毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
人工智能·安全·重构
gaosushexiangji3 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
古希腊数通小白(ip在学)3 小时前
stp拓扑变化分类
运维·服务器·网络·智能路由器
ai小鬼头4 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
说私域4 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序
l1x1n05 小时前
Vim 编辑器常用操作详解(新手快速上手指南)
linux·编辑器·vim