今天简单聊聊bert模型做文本分类任务的简单流程:先是对下载好的bert预训练模型查看一些简单信息.隐藏层12层,隐藏层输出维度768维.实际分类中,输出768个分类结果,几乎没有.还有就是分的结果越多,让模型精确具体结果就太模糊了.所以在这个地方,要经过改进,创造出适合自己任务的模型.首先继承nn.Module类.定义初始化方法,继承父类的初始化方法,导入bert模型.写入自己的线性层.然后重写前向传播.传入input_ids,attention_mask,返回结果.剩下的就是加载模型,传入数据开始训练.
相关推荐
小王2045 分钟前
Day 24：GoogLeNet与Inception — 多尺度特征融合qq4078556013 分钟前
进销存发展新态势：企业应当规避哪些数字化建设误区？晚风醉蝶18 分钟前
Grok 4.6 核心能力落地与实战应用指南TechEdu20260619 分钟前
[人工智能]Claude、GPT、Gemini、Copilot与Llama：概念、架构、应用与评估l12586532 分钟前
# RAG噪声知识库治理：一致性与可信度的四层防线设计骥龙43 分钟前
10：未来趋势 | 大模型与AI工具的2026-2027学代码的CJY1 小时前
Codex + Obsidian：搭建你的 AI 知识库（保姆级教程）QC777LX1 小时前
CAIE认证二级：职场加分，还是能力跃迁？wangruofeng1 小时前
DeepSeek 识图上线：官方 Chat、Harness、cc-switch 到 Obsidian 保姆级配置FL16238631291 小时前
人员聚集人群拥挤密度检测数据集VOC+YOLO格式163张2类别