今天简单聊聊bert模型做文本分类任务的简单流程:先是对下载好的bert预训练模型查看一些简单信息.隐藏层12层,隐藏层输出维度768维.实际分类中,输出768个分类结果,几乎没有.还有就是分的结果越多,让模型精确具体结果就太模糊了.所以在这个地方,要经过改进,创造出适合自己任务的模型.首先继承nn.Module类.定义初始化方法,继承父类的初始化方法,导入bert模型.写入自己的线性层.然后重写前向传播.传入input_ids,attention_mask,返回结果.剩下的就是加载模型,传入数据开始训练.
相关推荐
笃行35010 小时前
用 Rokid AIUI 开发日语学习助手段一凡-华北理工大学12 小时前
工业智能体:从Codex/Claude到项目实战~系列文章06：一张蓝图看懂“工业智能体×高炉炼铁“怕浪猫12 小时前
十个人，630 万订阅：一张 AI 学习清单里的五种老师JonaHu13 小时前
5分钟搭建帮你赚钱的 AI API 网站：从品牌门户到客户 Key 交付Csvn13 小时前
模型挂了全站 502？降级链让它先保住“有响应”（R04）isNotNullX14 小时前
仓储管理最全框架：6大流程、8项指标、10个管理动作、12个常见问题小白菜0014 小时前
AI的理解科技苑15 小时前
C++ CAS与ABA问题详解，无锁编程的经典陷阱怎么解决？DFT计算杂谈15 小时前
可DIY布里渊区图像绘制编辑器