BERT-文本分类&NER

BERT文本分类

训练样本

训练数据：18W条

评估数据：1W条

测试数据：1W条

|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 体验2D巅峰倚天屠龙记十大创新概览 8 60年铁树开花形状似玉米芯(组图) 5 同步A股首秀：港股缩量回调 2 中青宝sg现场抓拍兔子舞热辣表演 8 锌价难续去年辉煌 0 2岁男童爬窗台不慎7楼坠下获救(图) 5 布拉特：放球员一条生路吧 FIFA能消化俱乐部的攻击 7 金科西府名墅天成 1 状元心经：考前一周重点是回顾和整理 3 |

训练代码

https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 02-Bert 文本分类 → main.py

|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| dev f1:0.9664522058823529, precision:0.9580865603644647，recall:0.9749652294853964 test f1:0.9651982378854626, precision:0.9618086040386303，recall:0.9686118479221928 |

预测代码以及结果

https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 02-Bert 文本分类 → predict.py

|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 模型预测结果：文本：我们一起去打篮球吧！预测的类别为：game 文本：我喜欢踢足球！预测的类别为：game 文本：沈腾和马丽的新电影《独行月球》很好看预测的类别为：entertainment 文本：昨天玩游戏，完了一整天预测的类别为：game 文本：现在的高考都已经开始分科考试了。预测的类别为：education 文本：中方：佩洛西如赴台将致严重后果预测的类别为：politics 文本：现在的股票基金趋势很不好预测的类别为：finance 耗时为：2.3200602531433105 s |

评价指标

|---------------------------------------------------|
| dev acc:0.9305 最佳模型Loss Train_Loss:0.1319 |

BERT命名实体识别

训练样本

训练数据：127919条

评估数据：14352条

测试数据：15576条

|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 吴 B-NAME 重 I-NAME 阳 E-NAME ， O 中 B-CONT 国 I-CONT 国 I-CONT 籍 E-CONT ， O 大 B-EDU 学 I-EDU 本 I-EDU 科 E-EDU ， O 教 B-TITLE 授 I-TITLE 级 I-TITLE 高 I-TITLE 工 E-TITLE ， O 享 O 受 O 国 O 务 O 院 O 特 O 殊 O 津 O 贴 O ， O 历 O 任 O 邮 B-ORG 电 I-ORG 部 I-ORG 侯 I-ORG 马 I-ORG 电 I-ORG 缆 I-ORG 厂 E-ORG 仪 B-TITLE 表 I-TITLE 试 I-TITLE 制 I-TITLE 组 I-TITLE 长 E-TITLE 、 O 光 B-TITLE 缆 I-TITLE 分 I-TITLE 厂 I-TITLE 副 I-TITLE 厂 I-TITLE 长 E-TITLE 、 O 研 B-TITLE 究 I-TITLE 所 I-TITLE 副 I-TITLE 所 I-TITLE 长 E-TITLE ， O 获 O 得 O 过 O 山 O 西 O 省 O 科 O 技 O 先 O 进 O 工 O 作 O 者 O |

训练代码&评价指标

https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 07-Bert 实体识别 → main.py

|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| dev f1:0.9664522058823529, precision:0.9580865603644647，recall:0.9749652294853964 test f1:0.9651982378854626, precision:0.9618086040386303，recall:0.9686118479221928 运行时间：3.3876 min |

预测代码以及结果

https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 07-Bert 实体识别 → predict.py