AutoModelForCausalLM.from_pretrained 函数调用本地权重报错

文章目录

1、代码报错的位置(前情提要)

在终端直接运行finetune_lora.sh文件,--model_name_or_path该参数是指定加载的模型权重,可以是huggingface上的model_name,也可以使本地保存模型权重的路径。

使用默认的模型参数配置是(meta-llama/Llama-2-7b-chat-hf),该情况下模型权重会直接去huggingface官网上去下载。

finetune_lora.sh

fintune_clm_lora.py

--model_name_or_path 参数会在这里作为 AutoModelForCausalLM.from_pretrained 函数的参数

2、报错截图

服务器无法直接访问huggingface网站,因此只能采用指定本地模型路径的方法。(需要先申请并下载模型权重)

2.1、huggingfaces上的 meta-llama/Llama-2-7b-chat-hf

这个是需要去meta website申请之后,再在huggingface的meta_llama项目下再提交一次信息才可以查看和下载这些信息

权重文件有【.safetensor】 【.bin】两种,默认是加载.safetensor权重文件

2.2、服务器上模型文件路径

两种权重其实都可以使用,大小都一致,要想只使用.bin权重文件,需要删除.safetensor文件和对应的.safetensor.index.json文件才可以。

3、特别注意事项

若只想使用.bin权重文件,但是.bin.index.json文件有残留,运行就会报错找不到.safetensor权重文件。

可以侧面看出AutoModelForCausalLM.from_pretrained 函数是根据json文件进行读取对应的权重文件(同门李伟发现!)

相关推荐
Hi2024021715 分钟前
支持OCR和AI解释的Web PDF阅读器:解决大文档阅读难题
pdf·flask·llm·ocr·阅读器
中等生20 分钟前
ReAct: 减少 LLM 幻觉,提升准确度
llm·openai·ai编程
智泊AI33 分钟前
NLP是什么?一文带你搞懂“自然语言处理(NLP)”看这篇就够了!
llm
harykali36 分钟前
Datawhale AI夏令营:Baseline与调优
性能优化·llm
Generalzy1 小时前
从 Print 到 Debug:用 PyCharm 掌控复杂程序的调试之道
ide·性能优化·pycharm
charlee4413 小时前
PandasAI连接LLM进行智能数据分析
ai·数据分析·llm·pandasai·deepseek
凪卄121314 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
EdisonZhou14 小时前
多Agent协作入门:群聊编排模式
llm·aigc·.net core
SEO_juper17 小时前
企业级 AI 工具选型报告:9 个技术平台的 ROI 对比与部署策略
人工智能·搜索引擎·百度·llm·工具·geo·数字营销
同志们19 小时前
LiteLLM Go: 多平台LLM客户端统一接口实现
llm·go