暂时没有时间总结,先贴上几个还不错的帖子
trick:
PyTorch知识点补全_no_decay = ["bias", "layernorm.bias", "layernorm.w-CSDN博客
Bert在fine-tune训练时的技巧:①冻结部分层参数、②weight-decay (L2正则化)、③warmup_proportion、④_bert weight_decay-CSDN博客
过程:
在预训练bert模型上fine-tune的一些经验(实习)_bert finetuning需要shuffle吗-CSDN博客
BERT模型fine-tuning_bert的fun tunning调那个文件-CSDN博客
4如何对BERT 微调-案例_tokenizer input max length: 1000000000000000019884-CSDN博客
微调的代码:
BERT Fine-Tuning Tutorial with PyTorch · Chris McCormick (mccormickml.com)