TensorFlow的transformer类模型文件转换为pytorch

在进行transformer类模型的训练或开发时,我们会在GitHub、huggingface等平台上下载已有的模型文件。个人习惯用pytorch框架进行代码编写,然而很多时候在下载模型文件时,会遇到TensorFlow的模型,这是就涉及到转换的问题。

首先说一说两个框架的模型文件的后缀名区别:

  1. 在TensorFlow中,模型文件常用.ckpt存储
  2. 在pytorch中,模型文件常用.bin存储

以下是TensorFlow转换为pytorch的指令:

bash 复制代码
transformers-cli convert \
--model_type <如bert>\
--tf_checkpoint <原TensorFlow的ckpt文件地址>\
--config <配置json文件地址>\
--pytorch_dump_output <目标pytorch的bin文件地址>

最后补充一下------Transformer类的模型文件 ,其目录下通常都会有:
①模型文件
②模型索引文件
③tokenizer文件
④模型配置的json文件(通常是config.json)
⑤vocab词表

相关推荐
土星云SaturnCloud2 分钟前
液冷技术的未来:相变冷却、喷淋冷却等前沿技术探索
服务器·人工智能·ai
悟道心9 分钟前
7. 自然语言处理NLP - Bert
人工智能·自然语言处理·bert
头发还在的女程序员16 分钟前
小剧场短剧影视小程序源码分享,搭建自己的短剧小程序
人工智能·小程序·短剧·影视·微剧
l1t20 分钟前
NineData第三届数据库编程大赛:用一条 SQL 解数独问题我的参赛程序
数据库·人工智能·sql·算法·postgresql·oracle·数独
土豆.exe30 分钟前
若爱 (IfAI) v0.2.6 - 智能体进化:任务拆解与环境感知
人工智能
colfree34 分钟前
Scanpy
人工智能·机器学习
koo3641 小时前
pytorch深度学习笔记12
pytorch·笔记·深度学习
Akamai中国1 小时前
基准测试:Akamai云上的NVIDIA RTX Pro 6000 Blackwell
人工智能·云计算·云服务·云存储
雨大王5121 小时前
汽车AI智能体矩阵:驱动行业智能化变革的新范式
人工智能·汽车