今天简单聊聊bert模型做文本分类任务的简单流程:先是对下载好的bert预训练模型查看一些简单信息.隐藏层12层,隐藏层输出维度768维.实际分类中,输出768个分类结果,几乎没有.还有就是分的结果越多,让模型精确具体结果就太模糊了.所以在这个地方,要经过改进,创造出适合自己任务的模型.首先继承nn.Module类.定义初始化方法,继承父类的初始化方法,导入bert模型.写入自己的线性层.然后重写前向传播.传入input_ids,attention_mask,返回结果.剩下的就是加载模型,传入数据开始训练.
相关推荐
智驭未来掌门人1 分钟前
一个网关，三种接法，一个能落地的 Agent：llm-api-gateway-cli 项目介绍wordbaby16 分钟前
混合检索：两全其美的艺术Amy1870211182325 分钟前
数据中心电气接点测温：从“被动抢修”到“主动预警”的安全革命jimmyleeee39 分钟前
GEN AI安全：威胁全景---从训练到运行的攻防实战阿里云大数据AI技术1 小时前
DataWorks Data Agent 实战课堂（八）：数据质量巡检服务昇腾知识体系1 小时前
昇腾 A5 ISA 指令集：文档入口与 mem_bar 等关键指令ltqvibe1 小时前
让AI操作业务系统，误删数据谁来拦oscar9991 小时前
Ollie：Opik 内置的 AI 助手，让 Agent 调试从“看”变成“修”wshzd1 小时前
LLM漫谈（十一）| 5 个 开源Agent 源码剖析