bert模型笔记

Panesle2025-03-07 8:57

1.各预训练模型说明

BERT模型在英文数据集上提供了两种大小的模型，Base和Large。Uncased是意味着输入的词都会转变成小写，cased是意味着输入的词会保存其大写（在命名实体识别等项目上需要）。Multilingual是支持多语言的，最后一个是中文预训练模型。

复制代码

在这里我们选择BERT-Base，Uncased。下载下来之后是一个zip文件，解压后有ckpt文件，一个模型参数的json文件，一个词汇表txt文件。

2.参数错误

复制代码

当输出出现 args = parser.parse_args()标红时，将 args = parser.parse_args() 替换为：args, unknown = parser.parse_known_args()

3.命令行转换模型（tf到pytorch）chinese_L-12_H-768_A-12

复制代码

安装：pip install pytorch-pretrained-bert
解压地址：export BERT_BASE_DIR=/path/to/bert/chinese_L-12_H-768_A-12

（地址拼接）转换模型：pytorch_pretrained_bert convert_tf_checkpoint_to_pytorch $BERT_BASE_DIR/bert_model.ckpt$ BERT_BASE_DIR/bert_config.json $BERT_BASE_DIR/pytorch_model.bin

4.bert模型的标签

复制代码

标签默认为0，1，2...n的方式标注，否则需转换。