1.简介
组织机构:百川智能(前搜狗CEO王小川创立)
模型:baichuan-inc/Baichuan2-7B-Chat-4bits
下载:https://huggingface.co/baichuan-inc/Baichuan2-7B-Chat-4bits
镜像下载:https://aliendao.cn/models/baichuan-inc/Baichuan2-7B-Chat-4bits
硬件环境:暗影精灵7Plus
Windows版本:Windows 11家庭中文版 Insider Preview 22H2
内存 32G
GPU显卡:Nvidia GTX 3080 Laptop (16G)
参考资料:https://zhuanlan.zhihu.com/p/658999248
2.代码和模型下载
下载代码仓:

打开 https://huggingface.co/baichuan-inc/Baichuan2-7B-Chat-4bits 下载模型
并将其拷贝到 d:\Baichuan2\baichuan-inc\Baichuan2-7B-Chat-4bits 目录

3.安装依赖
创建conda环境
conda create -n baichuan2 python=3.10
conda activate baichuan2

cd Baichuan2
安装量化包:
pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui


安装Pytorch 2.0.1 for CUDA
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118


安装加速包:
pip install xformers

将代码 cli_demo.py 改成4bit量化的模型:

d:
cd d:\Baichuan2
pip install -r requirements.txt

4.部署验证
运行命令行模式:
python cli_demo.py

做一些简单的交互:

修改web_demo.py文件:

运行网页模式:
python web_demo.py

这里好像哪里不对,但是系统提示可以使用streamlit运行:
streamlit run web_demo.py
系统自动打开浏览器:


做一些简单的交互:


(全文完,谢谢阅读)