AIGC - Qwen大模型:Qwen-7B模型推理部署

硬件环境

作为AIGC方面的小白来说,我抱着非常天真的想法,想让它在我的工作笔记本上用i5的CPU去跑,至于为什么这么想,当然是因为我没有GPU,身边也没有其他的带显卡电脑

恰好,在腾讯云看到了GN7的显示优惠活动,60块钱15天,Nvidia T4的AI卡,直接斥巨资购买了15天;不过这段时间准备搭一台自己用的服务器,初步计划是可以插4块GPU,内存上到200G,还是用DeepSpeed做下全量训练啥的。

软件环境

腾讯云的服务器,我选择了自己常用ubuntu镜像,同时此模型都是基于python语言,pytorch框架训练的模型,为了便于管理python版本库,使用anaconda来管理。

具体软件环境版本如下:

conda 4.8.2

python 3.9

pytorch2.0.1

cuda 11.7

具体的软件环境搭建过程,另起一篇去记录

模型部署使用

安装依赖环境

克隆github库:git clone https://github.com/QwenLM/Qwen.git

pip install -r requirements.txt

安装时,与其他模型要求的transformers库版本冲突,由于选择的conda环境不对,切换到之前创建的langchain环境 conda acitivate langchain

设置模型文件路径

此环境最大GPU显存为16GB,但跑7B模型的FP16需要20几个G,所以这里跑量化后的模型INT4版本的

运行cli_demo.py

python cli_demo.py

此DEMO还融合了使用GPT回答相关问题,所以需要安装GPT相应依赖库

pip install optimum auto-gptq

通过此方式从huggingface下载的模型文件会以缓存的形式存放在如下目录

相关推荐
weixin_4526006917 分钟前
《青牛科技 GC6125:驱动芯片中的璀璨之星,点亮 IPcamera 和云台控制(替代 BU24025/ROHM)》
人工智能·科技·单片机·嵌入式硬件·新能源充电桩·智能充电枪
学术搬运工17 分钟前
【珠海科技学院主办,暨南大学协办 | IEEE出版 | EI检索稳定 】2024年健康大数据与智能医疗国际会议(ICHIH 2024)
大数据·图像处理·人工智能·科技·机器学习·自然语言处理
右恩32 分钟前
AI大模型重塑软件开发:流程革新与未来展望
人工智能
图片转成excel表格1 小时前
WPS Office Excel 转 PDF 后图片丢失的解决方法
人工智能·科技·深度学习
ApiHug1 小时前
ApiSmart x Qwen2.5-Coder 开源旗舰编程模型媲美 GPT-4o, ApiSmart 实测!
人工智能·spring boot·spring·ai编程·apihug
哇咔咔哇咔2 小时前
【科普】简述CNN的各种模型
人工智能·神经网络·cnn
李歘歘2 小时前
万字长文解读深度学习——多模态模型CLIP、BLIP、ViLT
人工智能·深度学习
Chatopera 研发团队2 小时前
机器学习 - 为 Jupyter Notebook 安装新的 Kernel
人工智能·机器学习·jupyter
IT古董2 小时前
【机器学习】数学知识:标准差,方差,协方差,平均数,中位数,众数
人工智能·数学·机器学习