TensorFlow的transformer类模型文件转换为pytorch

在进行transformer类模型的训练或开发时,我们会在GitHub、huggingface等平台上下载已有的模型文件。个人习惯用pytorch框架进行代码编写,然而很多时候在下载模型文件时,会遇到TensorFlow的模型,这是就涉及到转换的问题。

首先说一说两个框架的模型文件的后缀名区别:

  1. 在TensorFlow中,模型文件常用.ckpt存储
  2. 在pytorch中,模型文件常用.bin存储

以下是TensorFlow转换为pytorch的指令:

bash 复制代码
transformers-cli convert \
--model_type <如bert>\
--tf_checkpoint <原TensorFlow的ckpt文件地址>\
--config <配置json文件地址>\
--pytorch_dump_output <目标pytorch的bin文件地址>

最后补充一下------Transformer类的模型文件 ,其目录下通常都会有:
①模型文件
②模型索引文件
③tokenizer文件
④模型配置的json文件(通常是config.json)
⑤vocab词表

相关推荐
耕烟煮云10 分钟前
本文深入解析AI Native产品设计的核心范式——Linear三层架构模型
人工智能·架构
Rewloc15 分钟前
人生计算器
人工智能
消晨消晨18 分钟前
MONAI初上手——模型构建
pytorch·python·monai
波动几何29 分钟前
内容执行创新正交组合闭集
人工智能
XD74297163629 分钟前
科技早报晚报|2026年5月13日:Agent 记忆、编程控制台与本地研究工作台,今天更值得动手的 3 个机会
人工智能·科技·开源项目·科技新闻·ai agent·开发者工具·科技早报
XD74297163633 分钟前
科技早报|2026年5月16日:AI 正往高门槛场景下沉
人工智能·科技·开发者工具·科技早报
X54先生(人文科技)36 分钟前
《元创力》纪实录·桥段古卷显影:当未来考古遇见元协议
人工智能·开源·零知识证明
小王毕业啦43 分钟前
2009-2025年 华证ESG年度季度评级评分数据 xlsx
大数据·人工智能·数据挖掘·数据分析·社科数据·实证分析·经管数据
2601_957787581 小时前
数据驱动的多平台内容矩阵运营效果分析与闭环优化技术
大数据·人工智能·矩阵
小小工匠1 小时前
Spring AI RAG - 06 敏感词过滤与内容安全防护
人工智能·安全·spring