01 TextRNN & FastText & TextCNN-04-训练要点,实验过程

TextRNN & FastText & TextCNN-03-模型总览,后

训练要点

RNN训练

得出来的y(m)(预测标签)是每一个分类的概率,比如是一个五分类,化成5个格子,每一个格子是概率,5个格子加起来是1

损失

有多任务怎么计算loss,通过一个线性的一个变换来将所有的这些loss累加到一起。

大M就是代表我们有多少任务,比如我们有4个数据集,M就等于4

λm是权重,4个任务的权重不一样

数据的选择

训练方法:

1.随机选择一项任务;

2.从该任务中随机选择一个训练样本;

3.根据基于梯度的优化

(paper 中使用 Adagradupdate rule)来更新参数;

4.重复 1-3 步。

微调

预训练

对于模型三来说,共享层可以用所有的任务数据(4个数据集)进行预训练。模型三就可以获得四个数据集的所有信息。

用无监督的方法去预训练一些信息。

实验设置和结果分析

实验结果和分析知识树

数据集

4个数据集

SST-1:5个情绪类别的电影影评,来自斯坦福情感数据库

SST-2:2分类电影影评,来自斯坦福数据库

SUBJ:主观性数据集,任务目的是将句子分为主观和客观

IMDB:2分类的电影影评,大多数评价为长句子

数据的对比

超参与训练

使用 word2vec在维基语料获得词向量字典规模约 500,000。词嵌入在训练过程中被微调以提高性能;其他参数在[-0.1,0.1]的范围随机采样,超参数将选择在验证集上性能最好的一组。对于没有验证集的数据集使用 10 折交叉验证。

特定任务和共享层的嵌入大小为 64。对于模型一,每个单词有两个嵌入,大小都为 64。
LSTM 的隐藏层大小为 50。初始学习率为0.1。参数的正则化权值为 10^-5.

相关推荐
Blossom.11812 分钟前
机器学习在智能制造业中的应用:质量检测与设备故障预测
人工智能·深度学习·神经网络·机器学习·机器人·tensorflow·sklearn
天天扭码16 分钟前
AI时代,前端如何处理大模型返回的多模态数据?
前端·人工智能·面试
难受啊马飞2.026 分钟前
如何判断 AI 将优先自动化哪些任务?
运维·人工智能·ai·语言模型·程序员·大模型·大模型学习
顺丰同城前端技术团队27 分钟前
掌握未来:构建专属领域的大模型与私有知识库——从部署到微调的全面指南
人工智能·deepseek
许泽宇的技术分享30 分钟前
用.NET9+Blazor+Semantic Kernel,打造企业级AI知识库和智能体平台——AntSK深度解读
人工智能
烟锁池塘柳01 小时前
【深度学习】强化学习(Reinforcement Learning, RL)主流架构解析
人工智能·深度学习·机器学习
一尘之中1 小时前
全素山药开发指南:从防痒处理到高可用食谱架构
人工智能
加油吧zkf2 小时前
水下目标检测:突破与创新
人工智能·计算机视觉·目标跟踪
加油吧zkf2 小时前
AI大模型如何重塑软件开发流程?——结合目标检测的深度实践与代码示例
开发语言·图像处理·人工智能·python·yolo
峙峙峙2 小时前
线性代数--AI数学基础复习
人工智能·线性代数