AutoModelForCausalLM.from_pretrained 函数调用本地权重报错

文章目录

1、代码报错的位置(前情提要)

在终端直接运行finetune_lora.sh文件,--model_name_or_path该参数是指定加载的模型权重,可以是huggingface上的model_name,也可以使本地保存模型权重的路径。

使用默认的模型参数配置是(meta-llama/Llama-2-7b-chat-hf),该情况下模型权重会直接去huggingface官网上去下载。

finetune_lora.sh

fintune_clm_lora.py

--model_name_or_path 参数会在这里作为 AutoModelForCausalLM.from_pretrained 函数的参数

2、报错截图

服务器无法直接访问huggingface网站,因此只能采用指定本地模型路径的方法。(需要先申请并下载模型权重)

2.1、huggingfaces上的 meta-llama/Llama-2-7b-chat-hf

这个是需要去meta website申请之后,再在huggingface的meta_llama项目下再提交一次信息才可以查看和下载这些信息

权重文件有【.safetensor】 【.bin】两种,默认是加载.safetensor权重文件

2.2、服务器上模型文件路径

两种权重其实都可以使用,大小都一致,要想只使用.bin权重文件,需要删除.safetensor文件和对应的.safetensor.index.json文件才可以。

3、特别注意事项

若只想使用.bin权重文件,但是.bin.index.json文件有残留,运行就会报错找不到.safetensor权重文件。

可以侧面看出AutoModelForCausalLM.from_pretrained 函数是根据json文件进行读取对应的权重文件(同门李伟发现!)

相关推荐
FengY_HYY3 小时前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm
学无止境小袁同学1 天前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
不要试图纠正别人1 天前
榜单换个算法就洗牌:不是模型退步,是名次没有分辨率
llm·rails
Baihai_IDP1 天前
大模型 API 真的在赔本赚吆喝吗?聊聊 Token 背后的真实成本
人工智能·llm·aigc
xyphf_和派孔明1 天前
第六章: AI Agent长期记忆的存储引擎介绍
langchain·llm·agent
xyphf_和派孔明1 天前
第四章: AI Agent短期记忆的信息管理机制设计
langchain·llm·agent
mengrennwpu1 天前
Kynvio: 新一代办公助手
llm·agent
Baihai_IDP2 天前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm
用户95179422510292 天前
Agent Harness 工程(I5):权限与沙箱——让否决改变控制流
llm·agent
泯泷3 天前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm