ChatGLM3-6B大语言模型离线执行
模型准备
一般而言，模型和模型参数可以通过如下三个模型源进行相应的下载：
HuggingFace | ModelScope | WiseModel
本实例中，使用的是HuggingFace的源下载，相应的地址如下：
HuggingFace
环境准备
从HuggingFace下载下来的模型，实际上是包含两个实际的模型库，为了保证模型的准确运行，我们需要对相应的模型库进行选择，例如，我们使用的是PyTorch的模型，因此需要删除另外一个使用safetensors的模型，删除的内容包括：
- 模型数据文件
- 模型的配置文件
这些工作准备好后，直接安装requirements.txt 文件的相应安装包即可 。
快速代码调用
-
目录切换
cd C:\VM\Chatbot\ChatGLM3-main
-
加载相应的模块库文件
from transformers import AutoTokenizer, AutoModel
-
生成token
tokenizer = AutoTokenizer.from_pretrained(r"C:\VM\Chatbot\ChatGLM3-main\THUDM\chatglm3-6b", trust_remote_code=True)
-
模型的调用
CPU调用
model = AutoModel.from_pretrained(r"C:\VM\Chatbot\ChatGLM3-main\THUDM\chatglm3-6b", trust_remote_code=True).float()
GPU调用
model = AutoModel.from_pretrained(r"C:\VM\Chatbot\ChatGLM3-main\THUDM\chatglm3-6b", trust_remote_code=True,device='cuda').float()
-
模型实例化
model = model.eval()
-
模型测试
response, history = model.chat(tokenizer, "Hello", history=[])
print(response)
response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)
执行完成后，系统的运行界面输出结果如下，说明运行成功。
异常处理
requests.exceptions.ProxyError: (MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /THUDM/chatglm3-6b/resolve/main/tokenization_chatglm.py (Caused by ProxyError('Unable to connect to proxy', OSError('Tunnel connection failed: 407 Proxy Authentication Required')))"), '(Request ID: 2bb04d30-be98-4bc9-aba4-0fbcce94da13)')
处理方案
- 检查是否正确的配置了模型地址- 已经将模型地址指向本地；
- 检查模型的地址和执行的程序的文件目录等级是否在同一级；
eg:
模型地址为：C:\VM\Chatbot\ChatGLM3-main\THUDM\chatglm3-6b，那么我们的执行程序需要放到： C:\VM\Chatbot\ChatGLM3-main才能保证正常运行。
参考资源
ChatGLM3模型