暂时没有时间总结，先贴上几个还不错的帖子
trick:
PyTorch知识点补全_no_decay = ["bias", "layernorm.bias", "layernorm.w-CSDN博客
Bert在fine-tune训练时的技巧：①冻结部分层参数、②weight-decay (L2正则化)、③warmup_proportion、④_bert weight_decay-CSDN博客
过程：
在预训练bert模型上fine-tune的一些经验（实习）_bert finetuning需要shuffle吗-CSDN博客
BERT模型fine-tuning_bert的fun tunning调那个文件-CSDN博客
4如何对BERT 微调-案例_tokenizer input max length: 1000000000000000019884-CSDN博客
微调的代码：
BERT Fine-Tuning Tutorial with PyTorch · Chris McCormick (mccormickml.com)