神经网络与深度学习——第15章 序列生成模型

本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第15章 序列生成模型,习题还没做先存在这里。

序列生成模型


序列概率模型

序列生成


N元统计模型





深度序列模型

模型结构

嵌入层


特征层


输出层

参数学习

评价方法

困惑度


BLEU算法


ROUGE算法

序列生成模型中的学习问题

曝光偏差模型


训练目标不一致问题

计算效率问题


层次化Softmax




重要性采样





噪声对比估计




序列到序列模型


基于循环神经网络的序列到序列模型


基于注意力的序列到序列模型

基于自注意力的序列到序列模型

自注意力
多头自注意力
基于自注意力模型的序列编码


Transformer模型


总结和深入阅读


习题

相关推荐
Uzuki1 小时前
LLM 指标 | PPL vs. BLEU vs. ROUGE-L vs. METEOR vs. CIDEr
深度学习·机器学习·llm·vlm
Moshow郑锴2 小时前
实践题:智能客服机器人设计
人工智能·机器人·智能客服
2501_924889552 小时前
商超高峰客流统计误差↓75%!陌讯多模态融合算法在智慧零售的实战解析
大数据·人工智能·算法·计算机视觉·零售
维基框架3 小时前
维基框架 (Wiki Framework) 1.1.0 版本发布 提供多模型AI辅助开发
人工智能
西猫雷婶3 小时前
神经网络|(十二)概率论基础知识-先验/后验/似然概率基本概念
人工智能·神经网络·机器学习·回归·概率论
居7然4 小时前
大模型微调面试题全解析:从概念到实战
人工智能·微调
haidizym5 小时前
质谱数据分析环节体系整理
大数据·人工智能·数据分析·ai4s
Godspeed Zhao5 小时前
Tesla自动驾驶域控制器产品(AutoPilot HW)的系统化梳理
人工智能·机器学习·自动驾驶
fsnine5 小时前
机器学习案例——预测矿物类型(模型训练)
人工智能·机器学习
数据知道6 小时前
机器翻译60天修炼专栏介绍和目录
人工智能·自然语言处理·机器翻译