硬件环境
作为AIGC方面的小白来说，我抱着非常天真的想法，想让它在我的工作笔记本上用i5的CPU去跑，至于为什么这么想，当然是因为我没有GPU，身边也没有其他的带显卡电脑
恰好，在腾讯云看到了GN7的显示优惠活动，60块钱15天，Nvidia T4的AI卡，直接斥巨资购买了15天；不过这段时间准备搭一台自己用的服务器，初步计划是可以插4块GPU，内存上到200G，还是用DeepSpeed做下全量训练啥的。
软件环境
腾讯云的服务器，我选择了自己常用ubuntu镜像，同时此模型都是基于python语言，pytorch框架训练的模型，为了便于管理python版本库，使用anaconda来管理。
具体软件环境版本如下：
conda 4.8.2
python 3.9
pytorch2.0.1
cuda 11.7
具体的软件环境搭建过程，另起一篇去记录
模型部署使用
安装依赖环境
克隆github库：git clone https://github.com/QwenLM/Qwen.git
pip install -r requirements.txt
安装时，与其他模型要求的transformers库版本冲突,由于选择的conda环境不对，切换到之前创建的langchain环境 conda acitivate langchain
设置模型文件路径
此环境最大GPU显存为16GB，但跑7B模型的FP16需要20几个G，所以这里跑量化后的模型INT4版本的
运行cli_demo.py
python cli_demo.py
此DEMO还融合了使用GPT回答相关问题，所以需要安装GPT相应依赖库
pip install optimum auto-gptq
通过此方式从huggingface下载的模型文件会以缓存的形式存放在如下目录
