神经网络与深度学习——第15章 序列生成模型

本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第15章 序列生成模型,习题还没做先存在这里。

序列生成模型


序列概率模型

序列生成


N元统计模型





深度序列模型

模型结构

嵌入层


特征层


输出层

参数学习

评价方法

困惑度


BLEU算法


ROUGE算法

序列生成模型中的学习问题

曝光偏差模型


训练目标不一致问题

计算效率问题


层次化Softmax




重要性采样





噪声对比估计




序列到序列模型


基于循环神经网络的序列到序列模型


基于注意力的序列到序列模型

基于自注意力的序列到序列模型

自注意力
多头自注意力
基于自注意力模型的序列编码


Transformer模型


总结和深入阅读


习题

相关推荐
caijingshiye10 分钟前
BitMart 启动中文品牌“币市”:引领加密资产本地化发展新篇章
人工智能·区块链
视觉语言导航41 分钟前
中科院自动化所机器人视觉中的多模态融合与视觉语言模型综述
人工智能·深度学习·机器人·具身智能
SickeyLee2 小时前
产品经理的成长路径与目标总结
大数据·人工智能
叫我:松哥2 小时前
python案例:基于python 神经网络cnn和LDA主题分析的旅游景点满意度分析
人工智能·python·神经网络·数据挖掘·数据分析·cnn·课程设计
2202_756749693 小时前
01 基于sklearn的机械学习-机械学习的分类、sklearn的安装、sklearn数据集及数据集的划分、特征工程(特征提取与无量纲化、特征降维)
人工智能·python·机器学习·分类·sklearn
SoFlu软件机器人3 小时前
飞算科技:以原创之力,开启Java开发新纪元与行业数智变革
人工智能·科技
沫儿笙3 小时前
OTC焊接机器人节能技巧
大数据·人工智能·机器人
西柚小萌新4 小时前
【人工智能agent】--服务器部署PaddleX 的 印章文本识别模型
人工智能
金融小师妹4 小时前
AI量化模型解析黄金3300关口博弈:市场聚焦“非农数据”的GRU-RNN混合架构推演
大数据·人工智能·算法
NewCarRen4 小时前
数据驱动的自动驾驶虚拟测试方法
人工智能·机器学习·自动驾驶