TensorFlow的transformer类模型文件转换为pytorch

在进行transformer类模型的训练或开发时,我们会在GitHub、huggingface等平台上下载已有的模型文件。个人习惯用pytorch框架进行代码编写,然而很多时候在下载模型文件时,会遇到TensorFlow的模型,这是就涉及到转换的问题。

首先说一说两个框架的模型文件的后缀名区别:

  1. 在TensorFlow中,模型文件常用.ckpt存储
  2. 在pytorch中,模型文件常用.bin存储

以下是TensorFlow转换为pytorch的指令:

bash 复制代码
transformers-cli convert \
--model_type <如bert>\
--tf_checkpoint <原TensorFlow的ckpt文件地址>\
--config <配置json文件地址>\
--pytorch_dump_output <目标pytorch的bin文件地址>

最后补充一下------Transformer类的模型文件 ,其目录下通常都会有:
①模型文件
②模型索引文件
③tokenizer文件
④模型配置的json文件(通常是config.json)
⑤vocab词表

相关推荐
lingzhilab5 分钟前
零知ESP32-S3 部署AI小智 2.1,继电器和音量控制以及页面展示音量
人工智能
两万五千个小时15 分钟前
AI Agent 框架演进
人工智能
li星野19 分钟前
OpenCV4X学习—核心模块Core
人工智能·opencv·学习
刘立军26 分钟前
如何选择FAISS的索引类型
人工智能·算法·架构
gravity_w38 分钟前
Hugging Face使用指南
人工智能·经验分享·笔记·深度学习·语言模型·nlp
好奇龙猫40 分钟前
【人工智能学习-AI-MIT公开课第 19. 架构:GPS、SOAR、包容架构】
人工智能·学习·架构
特立独行的猫a1 小时前
告别碎片化笔记:基于n8n-mcp的AI写作助手实战
人工智能·笔记·ai写作·n8n·n8n-mcp
oioihoii1 小时前
构建高并发AI服务网关:C++与gRPC的工程实践
开发语言·c++·人工智能
范桂飓1 小时前
大模型分布式训练框架 Megatron-LM
人工智能·分布式
星云数灵1 小时前
大模型高级工程师考试练习题6
人工智能·大模型·大模型工程师·阿里云大模型aca·阿里云大模型工程师acp·大模型acp考试题库·acp认证