CentOS Linux 8 的系统部署 Qwen2.5-7B -Instruct-AWQ

安装依赖组件

安装 EPEL 仓库

sudo yum install -y epel-release

安装基础工具链

sudo yum install -y git python3-pip gcc-c++ make

创建 Python 虚拟环境

创建虚拟环境

python3 -m venv qwen-env

source qwen-env/bin/activate

升级 pip 并安装常用库

pip install --upgrade pip

pip install torch==2.1.0+cu118 torchvision==0.16.0+cu118 torchaudio==2.1.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

pip install transformers accelerate bitsandbytes optimum

下载并加载 Qwen2.5-7B-Instruct-AWQ 模型

git clone https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-AWQ

相关推荐
gaosushexiangji39 分钟前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
古希腊数通小白(ip在学)1 小时前
stp拓扑变化分类
运维·服务器·网络·智能路由器
ai小鬼头2 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
说私域2 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序
l1x1n03 小时前
Vim 编辑器常用操作详解(新手快速上手指南)
linux·编辑器·vim
飞哥数智坊3 小时前
新版定价不够用,Cursor如何退回旧版定价
人工智能·cursor
12点一刻3 小时前
搭建自动化工作流:探寻解放双手的有效方案(2)
运维·人工智能·自动化·deepseek
未来之窗软件服务3 小时前
东方仙盟AI数据中间件使用教程:开启数据交互与自动化应用新时代——仙盟创梦IDE
运维·人工智能·自动化·仙盟创梦ide·东方仙盟·阿雪技术观
JNU freshman4 小时前
计算机视觉速成 之 概述
人工智能·计算机视觉
ajassi20004 小时前
开源 python 应用 开发(三)python语法介绍
linux·python·开源·自动化