Transformer模型转换:从TF到PyTorch的实战指南

场景

使用tensorflow将TF模型转化成PyTorch模型

步骤

获取如下三个文件:

这里假设已经安装过PyTorch了。

开始转化TF2模型位PyTorch模型:

复制代码
# 安装依赖
pip3 install tensorflow transformers
export BERT_BASE_DIR=~/Downloads/nlp_bert/multi_cased_L-12_H-768_A-12
transformers-cli convert --model_type bert \
  --tf_checkpoint $BERT_BASE_DIR/bert_model.ckpt \
  --config $BERT_BASE_DIR/bert_config.json \
  --pytorch_dump_output $BERT_BASE_DIR/pytorch_model.bin

这里的pytorch_model.bin就是TF2的已经训练好的模型转化过来的PyTorch模型。

参考:

相关推荐
AI绘画哇哒哒13 分钟前
【值得收藏】手把手教你用PyTorch构建Transformer英汉翻译系统,从训练到推理
人工智能·pytorch·ai·语言模型·程序员·大模型·transformer
CH3_CH2_CHO1 小时前
DAY02:【DL 第一弹】pytorch
人工智能·pytorch·python·深度学习·回归
小关会打代码1 小时前
深度学习之第七课卷积神经网络 (CNN)调整学习率
深度学习·学习·cnn
CoovallyAIHub2 小时前
3D目标跟踪重磅突破!TrackAny3D实现「类别无关」统一建模,多项SOTA达成!
深度学习·算法·计算机视觉
爱喝白开水a2 小时前
从零开始学无监督学习:图像混合与标签平滑技术详解,收藏不走丢
人工智能·深度学习·学习·ai·大模型·编程·ai大模型
CoovallyAIHub2 小时前
无人机小目标检测新SOTA:MASF-YOLO重磅开源,多模块协同助力精度飞跃
深度学习·算法·计算机视觉
惯导马工2 小时前
【论文导读】FormerReckoning Physics Inspired Transformer for Accurate Inertial Navigat
深度学习·算法
weixin_377634842 小时前
【sft技巧】模型微调技巧
人工智能·深度学习·机器学习
多恩Stone3 小时前
【3D 入门-7】理解 SDF(Signed Distance Field) 不是什么?与相对坐标的区别
人工智能·python·深度学习·3d·aigc
nju_spy4 小时前
机器学习 - Kaggle项目实践(8)Spooky Author Identification 作者识别
人工智能·深度学习·机器学习·nlp·tf-idf·glove·南京大学