神经网络与深度学习——第15章 序列生成模型

本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第15章 序列生成模型,习题还没做先存在这里。

序列生成模型


序列概率模型

序列生成


N元统计模型





深度序列模型

模型结构

嵌入层


特征层


输出层

参数学习

评价方法

困惑度


BLEU算法


ROUGE算法

序列生成模型中的学习问题

曝光偏差模型


训练目标不一致问题

计算效率问题


层次化Softmax




重要性采样





噪声对比估计




序列到序列模型


基于循环神经网络的序列到序列模型


基于注意力的序列到序列模型

基于自注意力的序列到序列模型

自注意力
多头自注意力
基于自注意力模型的序列编码


Transformer模型


总结和深入阅读


习题

相关推荐
湫ccc1 小时前
《Opencv》基础操作详解(3)
人工智能·opencv·计算机视觉
Jack_pirate1 小时前
深度学习中的特征到底是什么?
人工智能·深度学习
微凉的衣柜2 小时前
微软在AI时代的战略布局和挑战
人工智能·深度学习·microsoft
GocNeverGiveUp2 小时前
机器学习1-简单神经网络
人工智能·机器学习
Schwertlilien2 小时前
图像处理-Ch2-空间域的图像增强
人工智能
智慧化智能化数字化方案2 小时前
深入解读数据资产化实践指南(2024年)
大数据·人工智能·数据资产管理·数据资产入表·数据资产化实践指南
哦哦~9212 小时前
深度学习驱动的油气开发技术与应用
大数据·人工智能·深度学习·学习
智慧化智能化数字化方案3 小时前
120页PPT讲解ChatGPT如何与财务数字化转型的业财融合
人工智能·chatgpt
矩阵推荐官hy147623 小时前
短视频矩阵系统种类繁多,应该如何对比选择?
人工智能·python·矩阵·流量运营
kida_yuan3 小时前
【从零开始】10. RAGChecker 提升回答准确率(番外篇)
人工智能