【部署glm4】属性找不到、参数错误问题解决(思路:修改模型包版本)

前言:在部署glm时,遇到了一些属性找不到、参数错误的问题,通常遇到这种问题都是因为模型包版本问题导致的,要注意模型版本是否可用。

【运行官方vllm_cli_demo.py】报错

**GLM-4: [rank0]: Traceback (most recent call last):

rank0\]: File "/app/glm4/code/GLM-4-main/basic_demo/vllm_cli_demo_self.py", line 176, in \[rank0\]: asyncio.run(chat()) \[rank0\]: File "/opt/conda/envs/chatglm4/lib/python3.9/asyncio/runners.py", line 44, in run \[rank0\]: return loop.run_until_complete(main) \[rank0\]: File "/opt/conda/envs/chatglm4/lib/python3.9/asyncio/base_events.py", line 647, in run_until_complete \[rank0\]: return future.result() \[rank0\]: File "/app/glm4/code/GLM-4-main/basic_demo/vllm_cli_demo_self.py", line 169, in chat \[rank0\]: async for output in vllm_gen(LORA_PATH, enable_lora, messages, top_p, temperature, max_length): \[rank0\]: File "/app/glm4/code/GLM-4-main/basic_demo/vllm_cli_demo_self.py", line 100, in vllm_gen \[rank0\]: inputs = tokenizer.apply_chat_template( \[rank0\]: AttributeError: 'tuple' object has no attribute 'apply_chat_template'** 目前该问题并没有解决,但是猜测是因为vllm版本需要为0.6.4,但是目前找不到这个版本,因此只能用)0.6.3.post1替代,猜测大概率是因为版本问题导致找不到`apply_chat_template ` 属性。由于vllm包较大,测试可用版本比较麻烦。 因此,目前可以暂时用tansformers代替vllm!!! > 【运行官方`trans_cli_demo.py`】报错 **Traceback (most recent call last): File "/app/glm4/code/GLM-4-main/basic_demo/trans_cli_demo.py", line 64, in model_inputs = tokenizer.apply_chat_template( File "/root/.cache/huggingface/modules/transformers_modules/glm4-models/tokenization_chatglm.py", line 220, in apply_chat_template output = self.batch_encode_plus( File "/opt/conda/envs/chatglm4/lib/python3.9/site-packages/transformers/tokenization_utils_base.py", line 3311, in batch_encode_plus return self._batch_encode_plus( File "/opt/conda/envs/chatglm4/lib/python3.9/site-packages/transformers/tokenization_utils.py", line 892, in _batch_encode_plus batch_outputs = self._batch_prepare_for_model( File "/opt/conda/envs/chatglm4/lib/python3.9/site-packages/transformers/tokenization_utils.py", line 970, in _batch_prepare_for_model batch_outputs = self.pad( File "/opt/conda/envs/chatglm4/lib/python3.9/site-packages/transformers/tokenization_utils_base.py", line 3527, in pad outputs = self._pad( TypeError: _pad() got an unexpected keyword argument 'padding_side'** 具体可以参考这篇博客: [GLM-4V-9B TypeError: ChatGLMTokenizer._pad() got an unexpected keyword argument 'padding_side'](https://blog.csdn.net/m0_60801087/article/details/143160274) 我的解决方法是将transformers版本降为4.44.0 最终运行截图如下: ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/af841c68662e49b8a81c106bb33e64eb.png)

相关推荐
之歆24 分钟前
Python-封装和解构-set及操作-字典及操作-解析式生成器-内建函数迭代器-学习笔记
笔记·python·学习
麻雀无能为力41 分钟前
CAU数据挖掘 支持向量机
人工智能·支持向量机·数据挖掘·中国农业大学计算机
智能汽车人1 小时前
Robot---能打羽毛球的机器人
人工智能·机器人·强化学习
埃菲尔铁塔_CV算法1 小时前
基于 TOF 图像高频信息恢复 RGB 图像的原理、应用与实现
人工智能·深度学习·数码相机·算法·目标检测·计算机视觉
ζั͡山 ั͡有扶苏 ั͡✾1 小时前
AI辅助编程工具对比分析:Cursor、Copilot及其他主流选择
人工智能·copilot·cursor
东临碣石821 小时前
【AI论文】数学推理能否提升大型语言模型(LLM)的通用能力?——探究大型语言模型推理能力的可迁移性
人工智能·语言模型·自然语言处理
天天爱吃肉82181 小时前
ZigBee通信技术全解析:从协议栈到底层实现,全方位解读物联网核心无线技术
python·嵌入式硬件·物联网·servlet
IT古董1 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(3)决策树回归模型(Decision Tree Regression)
神经网络·机器学习·回归
未来智慧谷2 小时前
微软医疗AI诊断系统发布 多智能体协作实现疑难病例分析
人工智能·microsoft·医疗ai
野生技术架构师2 小时前
简述MCP的原理-AI时代的USB接口
人工智能·microsoft