TensorFlow的transformer类模型文件转换为pytorch

在进行transformer类模型的训练或开发时,我们会在GitHub、huggingface等平台上下载已有的模型文件。个人习惯用pytorch框架进行代码编写,然而很多时候在下载模型文件时,会遇到TensorFlow的模型,这是就涉及到转换的问题。

首先说一说两个框架的模型文件的后缀名区别:

  1. 在TensorFlow中,模型文件常用.ckpt存储
  2. 在pytorch中,模型文件常用.bin存储

以下是TensorFlow转换为pytorch的指令:

bash 复制代码
transformers-cli convert \
--model_type <如bert>\
--tf_checkpoint <原TensorFlow的ckpt文件地址>\
--config <配置json文件地址>\
--pytorch_dump_output <目标pytorch的bin文件地址>

最后补充一下------Transformer类的模型文件 ,其目录下通常都会有:
①模型文件
②模型索引文件
③tokenizer文件
④模型配置的json文件(通常是config.json)
⑤vocab词表

相关推荐
eve杭9 分钟前
AI、大数据与智能时代:从理论基石到实战路径
人工智能·python·5g·网络安全·ai
TG:@yunlaoda360 云老大10 分钟前
腾讯云国际站代理商的QAPM服务能提供哪些专属服务?
人工智能·云计算·腾讯云
明月满西楼37 分钟前
4.2.1 分类任务
人工智能
AI_56781 小时前
Webpack5优化的“双引擎”
大数据·人工智能·性能优化
LZL_SQ1 小时前
昇腾NPU架构设计 从抽象硬件模型到物理实现
人工智能·昇腾·cann·ascend c
慎独4131 小时前
家家有平台:Web3.0绿色积分引领消费新纪元
大数据·人工智能·物联网
火云牌神1 小时前
如何选择FAISS的索引类型
人工智能·faiss
Gavin在路上1 小时前
SpringAIAlibaba之高级特性与实战场景全解析(5)
人工智能
会挠头但不秃2 小时前
深度学习(4)卷积神经网络
人工智能·神经网络·cnn