【Hugging Face】解决BART模型调用时KeyError: ‘new_zeros‘的问题

错误代码:

python 复制代码
tokenizer = AutoTokenizer.from_pretrained("philschmid/bart-large-cnn-samsum")
model = AutoModelForSeq2SeqLM.from_pretrained("philschmid/bart-large-cnn-samsum")

model.eval()
model.to("cuda")
loss = 0
for i in range(len(self.dataset)):
    batch = tokenizer([self.dataset[i]["source"]], return_tensors="pt", padding=True).to("cuda")
    labels = tokenizer([self.dataset[i]["target"]], return_tensors="pt", padding=True).to("cuda")
    print(batch)
    outputs = model(**batch, labels=labels)
    print(outputs.loss.item())

报错内容:

python 复制代码
Traceback (most recent call last):
  File "D:\anaconda\envs\supTextDebug\lib\site-packages\transformers\tokenization_utils_base.py", line 266, in __getattr__
    return self.data[item]
KeyError: 'new_zeros'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "E:\supTextDebug\supTextDebugCode\textDebugger.py", line 360, in <module>
    debugger.run_baselines()
  File "E:\supTextDebug\supTextDebugCode\textDebugger.py", line 299, in run_baselines
    loss.get_loss()
  File "E:\supTextDebug\supTextDebugCode\lossbased.py", line 26, in get_loss
    outputs = model(**batch, labels=labels)
  File "D:\anaconda\envs\supTextDebug\lib\site-packages\torch\nn\modules\module.py", line 1194, in _call_impl
    return forward_call(*input, **kwargs)
  File "D:\anaconda\envs\supTextDebug\lib\site-packages\transformers\models\bart\modeling_bart.py", line 1724, in forward
    decoder_input_ids = shift_tokens_right(
  File "D:\anaconda\envs\supTextDebug\lib\site-packages\transformers\models\bart\modeling_bart.py", line 104, in shift_tokens_right
    shifted_input_ids = input_ids.new_zeros(input_ids.shape)
  File "D:\anaconda\envs\supTextDebug\lib\site-packages\transformers\tokenization_utils_base.py", line 268, in __getattr__
    raise AttributeError
AttributeError

解决方案:

错误行:outputs = model(**batch, labels=labels)

直接使用模型的forward方法,而不是将所有参数传递给 model:

python 复制代码
tokenizer = AutoTokenizer.from_pretrained("philschmid/bart-large-cnn-samsum")
model = AutoModelForSeq2SeqLM.from_pretrained("philschmid/bart-large-cnn-samsum")

model.eval()
model.to("cuda")
loss = 0
for i in range(len(self.dataset)):
    batch = tokenizer([self.dataset[i]["source"]], return_tensors="pt", padding=True).to("cuda")
    labels = tokenizer([self.dataset[i]["target"]], return_tensors="pt", padding=True).to("cuda")
    print(batch)
    outputs = model(input_ids=batch["input_ids"], attention_mask=batch["attention_mask"], labels=labels["input_ids"])
    print(outputs.loss.item())
相关推荐
阿里云大数据AI技术5 分钟前
Hologres jev 能帮业务做什么?7 个场景,一句提问
人工智能
武子康10 分钟前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
网易云信18 分钟前
网易智企 × 利尔达智能工牌:如何把一线对话变成可复用的企业资产
人工智能
前进的李工36 分钟前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
天树星智源1 小时前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
京东云开发者1 小时前
京东云推出全新JoyCode智能编码工具,让AI Coding从代码生成走向成果交付
人工智能
泓博1 小时前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
软件技术NINI1 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
大模型真好玩2 小时前
大模型训练全流程实战指南实战篇(十八)——微调问答对数据构建技术
人工智能·agent·deepseek
甲维斯2 小时前
谷歌太抽象了,快速测一下Hydrogen!
人工智能