今天简单聊聊bert模型做文本分类任务的简单流程:先是对下载好的bert预训练模型查看一些简单信息.隐藏层12层,隐藏层输出维度768维.实际分类中,输出768个分类结果,几乎没有.还有就是分的结果越多,让模型精确具体结果就太模糊了.所以在这个地方,要经过改进,创造出适合自己任务的模型.首先继承nn.Module类.定义初始化方法,继承父类的初始化方法,导入bert模型.写入自己的线性层.然后重写前向传播.传入input_ids,attention_mask,返回结果.剩下的就是加载模型,传入数据开始训练.
相关推荐
FRing032 分钟前
什么是AI、模型和token、vibecoding介绍、ClaudeCode环境搭建深圳市益普科技有限公司4 分钟前
Micro-LED量产线MES在巨量转移这一段，该管到多细AI砖家6 分钟前
验证码与接口防刷完整落地方案奋进小青7 分钟前
2026年CNN与Transformer融合的创新点思路阿文和她的Key10 分钟前
DeepInfer 与 TorchTPU 同日开源：供应商锁定的成本结构正在被重写lucas_AI10 分钟前
AI 阅卷的第一道坎：学生涂改的叉，模型读成了答案AI Workforce10 分钟前
数据质量：4 层去重 + 黑名单机制——宁可漏杀，不可错杀中烟创新12 分钟前
中烟创新×某烟草公司 | 企业综合管理平台：从“系统林立”到“一个平台”进击的雷神14 分钟前
怕 AI Agent 乱删文件？Tank-OS 把它锁进不可变系统lucas_AI15 分钟前
用 AI 复读公元前 3 世纪的石碑：阿育王铭文从风化岩石直通英译