AutoModelForCausalLM.from_pretrained 函数调用本地权重报错

文章目录

1、代码报错的位置(前情提要)

在终端直接运行finetune_lora.sh文件,--model_name_or_path该参数是指定加载的模型权重,可以是huggingface上的model_name,也可以使本地保存模型权重的路径。

使用默认的模型参数配置是(meta-llama/Llama-2-7b-chat-hf),该情况下模型权重会直接去huggingface官网上去下载。

finetune_lora.sh

fintune_clm_lora.py

--model_name_or_path 参数会在这里作为 AutoModelForCausalLM.from_pretrained 函数的参数

2、报错截图

服务器无法直接访问huggingface网站,因此只能采用指定本地模型路径的方法。(需要先申请并下载模型权重)

2.1、huggingfaces上的 meta-llama/Llama-2-7b-chat-hf

这个是需要去meta website申请之后,再在huggingface的meta_llama项目下再提交一次信息才可以查看和下载这些信息

权重文件有【.safetensor】 【.bin】两种,默认是加载.safetensor权重文件

2.2、服务器上模型文件路径

两种权重其实都可以使用,大小都一致,要想只使用.bin权重文件,需要删除.safetensor文件和对应的.safetensor.index.json文件才可以。

3、特别注意事项

若只想使用.bin权重文件,但是.bin.index.json文件有残留,运行就会报错找不到.safetensor权重文件。

可以侧面看出AutoModelForCausalLM.from_pretrained 函数是根据json文件进行读取对应的权重文件(同门李伟发现!)

相关推荐
数字化营销工兵4 小时前
大语言模型(LLM)安全:十大风险、影响和防御措施
llm·大语言模型·数据安全·隐私保护
Guofu_Liao11 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
gz7seven13 小时前
BLIP-2模型的详解与思考
大模型·llm·多模态·blip·多模态大模型·blip-2·q-former
不爱说话郭德纲18 小时前
探索LLM前沿,共话科技未来
人工智能·算法·llm
AI_小站20 小时前
RAG 示例:使用 langchain、Redis、llama.cpp 构建一个 kubernetes 知识库问答
人工智能·程序人生·langchain·kubernetes·llama·知识库·rag
Guofu_Liao20 小时前
Llama模型文件介绍
人工智能·llama
醉酒柴柴1 天前
【代码pycharm】动手学深度学习v2-07 自动求导
ide·深度学习·pycharm
Donvink1 天前
多模态大语言模型——《动手学大模型》实践教程第六章
人工智能·深度学习·语言模型·自然语言处理·llama
我爱学Python!1 天前
解决复杂查询难题:如何通过 Self-querying Prompting 提高 RAG 系统效率?
人工智能·程序人生·自然语言处理·大模型·llm·大语言模型·rag
Donvink1 天前
大模型安全和越狱攻击——《动手学大模型》实践教程第五章
深度学习·安全·语言模型·llama