AutoModelForCausalLM.from_pretrained 函数调用本地权重报错

文章目录

1、代码报错的位置(前情提要)

在终端直接运行finetune_lora.sh文件,--model_name_or_path该参数是指定加载的模型权重,可以是huggingface上的model_name,也可以使本地保存模型权重的路径。

使用默认的模型参数配置是(meta-llama/Llama-2-7b-chat-hf),该情况下模型权重会直接去huggingface官网上去下载。

finetune_lora.sh

fintune_clm_lora.py

--model_name_or_path 参数会在这里作为 AutoModelForCausalLM.from_pretrained 函数的参数

2、报错截图

服务器无法直接访问huggingface网站,因此只能采用指定本地模型路径的方法。(需要先申请并下载模型权重)

2.1、huggingfaces上的 meta-llama/Llama-2-7b-chat-hf

这个是需要去meta website申请之后,再在huggingface的meta_llama项目下再提交一次信息才可以查看和下载这些信息

权重文件有【.safetensor】 【.bin】两种,默认是加载.safetensor权重文件

2.2、服务器上模型文件路径

两种权重其实都可以使用,大小都一致,要想只使用.bin权重文件,需要删除.safetensor文件和对应的.safetensor.index.json文件才可以。

3、特别注意事项

若只想使用.bin权重文件,但是.bin.index.json文件有残留,运行就会报错找不到.safetensor权重文件。

可以侧面看出AutoModelForCausalLM.from_pretrained 函数是根据json文件进行读取对应的权重文件(同门李伟发现!)

相关推荐
relis7 小时前
llama.cpp RMSNorm CUDA 优化分析报告
算法·llama
云雾J视界7 小时前
开源革命下的研发突围:Meta Llama系列模型的知识整合实践与启示
meta·开源·llama·知识管理·知识整合·知识迭代·知识共享
chaofa用代码打点酱油7 小时前
RAG 进化之路:传统 RAG 到工具与强化学习双轮驱动的 Agentic RAG
算法·llm
山顶夕景8 小时前
【MLLM】Qwen3-Omni全模态模型源码解读
大模型·llm·多模态·mllm
雨夜的星光10 小时前
Python环境管理工具全景对比:Virtualenv, Pipenv, Poetry 与 Conda
python·pycharm·conda·virtualenv
阿福Chris10 小时前
Dify本地初始化后安装模型供应商瞬间失败控制台报错401
大模型·llm·dify·大模型工具
雨夜的星光13 小时前
PyCharm 核心快捷键大全 (Windows版)
ide·python·pycharm
镰刀韭菜1 天前
【AI4S】DrugChat:迈向在药物分子图上实现类似ChatGPT的功能
llm·图神经网络·预训练·gnn·ai4s·drugchat·药物分子图谱
停走的风1 天前
(CVPR2025)DEIM模型训练自己的数据集教程(基于Pycharm)
python·深度学习·pycharm·模型训练·deim
丁学文武1 天前
大模型原理与实践:第三章-预训练语言模型详解_第3部分-Decoder-Only(GPT、LLama、GLM)
人工智能·gpt·语言模型·自然语言处理·大模型·llama·glm