今天简单聊聊bert模型做文本分类任务的简单流程:先是对下载好的bert预训练模型查看一些简单信息.隐藏层12层,隐藏层输出维度768维.实际分类中,输出768个分类结果,几乎没有.还有就是分的结果越多,让模型精确具体结果就太模糊了.所以在这个地方,要经过改进,创造出适合自己任务的模型.首先继承nn.Module类.定义初始化方法,继承父类的初始化方法,导入bert模型.写入自己的线性层.然后重写前向传播.传入input_ids,attention_mask,返回结果.剩下的就是加载模型,传入数据开始训练.
相关推荐
OceanBase数据库官方博客30 分钟前
OceanBase DataPilot AIP：Ontology 承载AI能力面的另一条路笨鸟先飞，勤能补拙2 小时前
AI 赋能网络安全：技术全景、成熟度评估与实战案例一次旅行2 小时前
AI 前沿日报 | 2026年07月31日2601_963749102 小时前
标题：越华环保集团｜面向美丽河湖项目的数字化污水治理云边协同采集架构设计沐籽李2 小时前
从溶剂可及表面积SASA理解抗体结构与工程改造智慧物业老杨2 小时前
物业如何做好预算管理？落地架构逻辑微学AI2 小时前
一根针指向所有方向：挂谷猜想对 LLM Agent 技能-记忆架构的启示城管不管2 小时前
ReAct、Plan-and-Execute、Reflection 三大智能 Agent 范式核心区别boppu2 小时前
布草特殊污渍去渍剂的种类及作用AIsoft_86883 小时前
会议录音转文字与AI纪要工具推荐：免费额度与核心功能对比指南