TensorFlow的transformer类模型文件转换为pytorch

在进行transformer类模型的训练或开发时,我们会在GitHub、huggingface等平台上下载已有的模型文件。个人习惯用pytorch框架进行代码编写,然而很多时候在下载模型文件时,会遇到TensorFlow的模型,这是就涉及到转换的问题。

首先说一说两个框架的模型文件的后缀名区别:

  1. 在TensorFlow中,模型文件常用.ckpt存储
  2. 在pytorch中,模型文件常用.bin存储

以下是TensorFlow转换为pytorch的指令:

bash 复制代码
transformers-cli convert \
--model_type <如bert>\
--tf_checkpoint <原TensorFlow的ckpt文件地址>\
--config <配置json文件地址>\
--pytorch_dump_output <目标pytorch的bin文件地址>

最后补充一下------Transformer类的模型文件 ,其目录下通常都会有:
①模型文件
②模型索引文件
③tokenizer文件
④模型配置的json文件(通常是config.json)
⑤vocab词表

相关推荐
齐齐大魔王3 分钟前
深度学习(三)
人工智能·深度学习
一个帅气昵称啊13 分钟前
Net AI智能体开源框架NetCoreKevin为企业AI智能体系统Saas信息化建设赋能-开启智能应用的无限可能
人工智能·开源
yzx99101319 分钟前
卷积神经网络(CNN):深度学习的视觉革命者
人工智能·机器学习
路边草随风30 分钟前
python 调用 spring ai sse mcp
人工智能·python·spring
深圳市快瞳科技有限公司1 小时前
宠物识别算法在AI摄像头的应用实践:从多宠识别到行为分析
人工智能·智能硬件·宠物
ziwu1 小时前
【鱼类识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
人工智能·深度学习·图像识别
小马爱打代码1 小时前
Spring AI:ChatMemory 实现聊天记忆功能
java·人工智能·spring
ziwu1 小时前
【植物识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
人工智能·深度学习·图像识别
Al leng1 小时前
机器学习中偏差和方差的通俗理解
人工智能·机器学习
Dr.Kun1 小时前
【鲲码园Python】基于pytorch的鸟品种分类系统(25类)
pytorch·python·分类