今天简单聊聊bert模型做文本分类任务的简单流程:先是对下载好的bert预训练模型查看一些简单信息.隐藏层12层,隐藏层输出维度768维.实际分类中,输出768个分类结果,几乎没有.还有就是分的结果越多,让模型精确具体结果就太模糊了.所以在这个地方,要经过改进,创造出适合自己任务的模型.首先继承nn.Module类.定义初始化方法,继承父类的初始化方法,导入bert模型.写入自己的线性层.然后重写前向传播.传入input_ids,attention_mask,返回结果.剩下的就是加载模型,传入数据开始训练.
相关推荐
用户51914958484519 分钟前
Windows 渗透测试载荷加载器 POC 工具集大树8823 分钟前
金刚石散热越强，管路越先见顶通信小呆呆33 分钟前
当算法有了“五感”：多模态数据融合如何向人体感官协同学习？施小赞35 分钟前
普通 RAG vs GraphRAG 核心对比EAIReport37 分钟前
RuoYi-AI 企业级AI开发平台实战详解HelloWorld__来都来了1 小时前
【每日学术速报】2026-06-15H__Rick1 小时前
自动对焦学习-3SpaceAIGlobal1 小时前
AI 生成 PPT 工具深度评测与选型指南移动云开发者联盟1 小时前
移动云HaishanDB焕新出发！