BERT-文本分类&NER

BERT文本分类

训练样本

训练数据:18W条

评估数据:1W条

测试数据:1W条

|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 体验2D巅峰 倚天屠龙记十大创新概览 8 60年铁树开花形状似玉米芯(组图) 5 同步A股首秀:港股缩量回调 2 中青宝sg现场抓拍 兔子舞热辣表演 8 锌价难续去年辉煌 0 2岁男童爬窗台不慎7楼坠下获救(图) 5 布拉特:放球员一条生路吧 FIFA能消化俱乐部的攻击 7 金科西府 名墅天成 1 状元心经:考前一周重点是回顾和整理 3 |

训练代码

https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 02-Bert 文本分类 → main.py

|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| dev f1:0.9664522058823529, precision:0.9580865603644647,recall:0.9749652294853964 test f1:0.9651982378854626, precision:0.9618086040386303,recall:0.9686118479221928 |

预测代码以及结果

https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 02-Bert 文本分类 → predict.py

|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 模型预测结果: 文本:我们一起去打篮球吧! 预测的类别为:game 文本:我喜欢踢足球! 预测的类别为:game 文本:沈腾和马丽的新电影《独行月球》很好看 预测的类别为:entertainment 文本:昨天玩游戏,完了一整天 预测的类别为:game 文本:现在的高考都已经开始分科考试了。 预测的类别为:education 文本:中方:佩洛西如赴台将致严重后果 预测的类别为:politics 文本:现在的股票基金趋势很不好 预测的类别为:finance 耗时为:2.3200602531433105 s |

评价指标

|---------------------------------------------------|
| dev acc:0.9305 最佳模型Loss Train_Loss:0.1319 |

BERT命名实体识别

训练样本

训练数据:127919条

评估数据:14352条

测试数据:15576条

|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 吴 B-NAME 重 I-NAME 阳 E-NAME , O 中 B-CONT 国 I-CONT 国 I-CONT 籍 E-CONT , O 大 B-EDU 学 I-EDU 本 I-EDU 科 E-EDU , O 教 B-TITLE 授 I-TITLE 级 I-TITLE 高 I-TITLE 工 E-TITLE , O 享 O 受 O 国 O 务 O 院 O 特 O 殊 O 津 O 贴 O , O 历 O 任 O 邮 B-ORG 电 I-ORG 部 I-ORG 侯 I-ORG 马 I-ORG 电 I-ORG 缆 I-ORG 厂 E-ORG 仪 B-TITLE 表 I-TITLE 试 I-TITLE 制 I-TITLE 组 I-TITLE 长 E-TITLE 、 O 光 B-TITLE 缆 I-TITLE 分 I-TITLE 厂 I-TITLE 副 I-TITLE 厂 I-TITLE 长 E-TITLE 、 O 研 B-TITLE 究 I-TITLE 所 I-TITLE 副 I-TITLE 所 I-TITLE 长 E-TITLE , O 获 O 得 O 过 O 山 O 西 O 省 O 科 O 技 O 先 O 进 O 工 O 作 O 者 O |

训练代码&评价指标

https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 07-Bert 实体识别 → main.py

|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| dev f1:0.9664522058823529, precision:0.9580865603644647,recall:0.9749652294853964 test f1:0.9651982378854626, precision:0.9618086040386303,recall:0.9686118479221928 运行时间:3.3876 min |

预测代码以及结果

https://github.com/HeiBoWang/Pytorch-NLP/tree/master → 07-Bert 实体识别 → predict.py

|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 模型预测结果: 文本:李某某,男,2012年4月出生,本科学历,工科学士,毕业于电子科技大学。 预测的类别为:['S-ORG', 'I-NAME', 'UNK', 'E-NAME', 'O', 'I-NAME', 'E-EDU', 'I-ORG', 'I-NAME', 'I-ORG', 'I-NAME', 'S-ORG', 'S-ORG', 'I-EDU', 'E-EDU', 'I-ORG', 'E-LOC', 'S-ORG', 'S-ORG', 'B-NAME', 'I-NAME', 'B-PRO', 'B-PRO', 'E-NAME', 'UNK', 'UNK', 'B-NAME', 'E-LOC', 'B-NAME', 'S-ORG'] 耗时为:6.1840057373046875 s |

相关推荐
你可以叫我仔哥呀2 分钟前
Java程序员学从0学AI(七)
java·开发语言·人工智能·ai·spring ai
益莱储中国6 分钟前
是德科技 | AI上车后,这条“高速公路”如何畅通?
人工智能·科技
小张童鞋。12 分钟前
Datawhale AI夏令营--Task2:理解项目目标、从业务理解到技术实现!
人工智能
AI4Sci.13 分钟前
在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(下)
人工智能·算法·机器学习·大模型·lora微调·大模型本地部署·qwen2.5-vl-7b
阿里云大数据AI技术23 分钟前
数据开发再提速!DataWorks正式接入Qwen3-Coder
大数据·人工智能·数据分析
Xxtaoaooo25 分钟前
MCP协议全景解析:从工业总线到AI智能体的连接革命
大数据·人工智能·mcp协议·mcp解析·工业mcp
空中湖44 分钟前
PyTorch武侠演义 第一卷:初入江湖 第7章:矿洞中的计算禁制
人工智能·pytorch·python
新智元1 小时前
毕树超入职Meta后首发声:十年前怀疑AGI,如今深信AGI已至!
人工智能·openai
新智元1 小时前
GPT-5「全家桶」爆出本周上线!惊艳首测秒出网页,编程彻底起飞
人工智能·openai
笔触狂放1 小时前
【机器学习】第八章 模型评估及改进
人工智能·深度学习·机器学习