今天简单聊聊bert模型做文本分类任务的简单流程:先是对下载好的bert预训练模型查看一些简单信息.隐藏层12层,隐藏层输出维度768维.实际分类中,输出768个分类结果,几乎没有.还有就是分的结果越多,让模型精确具体结果就太模糊了.所以在这个地方,要经过改进,创造出适合自己任务的模型.首先继承nn.Module类.定义初始化方法,继承父类的初始化方法,导入bert模型.写入自己的线性层.然后重写前向传播.传入input_ids,attention_mask,返回结果.剩下的就是加载模型,传入数据开始训练.
相关推荐
IT大师兄吖15 分钟前
MOSS-TTS-Nano ONNX：轻量级离线语音合成 懒人整合包木木学AI16 分钟前
AI电话系统技术选型：语音识别精度、高并发调度与CRM集成评估hai31524754316 分钟前
九章编译法----空间几何统一编译法互联网江湖29 分钟前
解禁时刻开启，但MiniMax还没到“验牌”时刻狂热开发者30 分钟前
用 Typeoff 把会后口述整理成 Markdown 决策记录不加辣椒40 分钟前
第21章 内容创作领域的提示词工程sunneo42 分钟前
S16.1第一性原理做产品（1）：从《创新者的窘境》看AI颠覆——为什么大模型不是护城河EMBA寰球网1 小时前
互动展厅设计核心逻辑、实施路径与落地实施要点专业解析：名瑞展览展陈行业实践深度洞察aiqianji1 小时前
有哪些支持长文的AI生成短篇小说软件？lisw051 小时前
人-智能体协同的信任研究！