【课程总结】Day17(下):初始Seq2Seq模型

前言

"日月忽其不淹兮,春与秋其代序。"

技术更新的车轮在滚滚向前,曾经名噪一时的RNN模型,在新的技术革新下也渐渐落幕,本章我们将初步了解Seq2Seq模型,同时借助Demo代码,对Seq2Seq模型有一个直观了解。

Encoder-Decoder的回顾

回顾【课程总结】Day15(上):图像分割之语义分割,我们曾接触到U-Net模型,它是一种Encoder-Decoder模型。在此,我们重新回顾理解Encoder-Decoder模型。

  • Encoder-Decoder是一个通用的框架。
  • Encoder又称作编码器。它的作用就是:将现实问题转化为数学问题。
  • Decoder又称作解码器,它的作用是:求解数学问题,并转化为现实世界的解决方案。

只要符合上面的框架,都可以统称为Encoder-Decoder模型,其中sequence-to-sequence就是Encoder-Decoder的一种特例。

Encoder-Decoder的应用

图片 - 图片

应用:U-net系列算法的应用,如肝脏识别

音频 - 文本

应用:语音识别

图片 - 文本

应用:图像描述生成(看图说话)

论文地址:https://arxiv.org/pdf/1505.00487

文本 - 文本

应用:机器翻译,对话机器人,文章摘要,代码补全

其中,文本(RNN) - 文本(RNN)是NLP第一模型!

Seq2Seq模型

模型简介

序列到序列(seq2seq)模型是一种用于处理序列数据的架构,主要用于将一个输入序列转换为一个输出序列。它广泛应用于机器翻译、文本摘要、对话系统等任务。

模型结构

下图所示的是一个典型的机器翻译任务中,输入的文本序列(源语言表述)到输出的文本序列(目标语言表述)之间的变换。

进一步,显示编码器和解码器结构如下图:

进一步,展开编码器和解码器的步骤如下图:

进一步,结合之前所了解RNN知识,展开其结构如下图:

解释说明:

  • Seq - Encoder编码器

    • 作用:解析问句,将其编码为一个中间表达Vector
    • 本质:一个RNN(自动完成循环,一次性得到结果即可)
  • 中间表达

    • 作用:承上启下,既是上句处理的结果,又是下句生成的参考。
    • 本质:编码器RNN的最后一个时间步的隐藏状态 hn
  • Seq - Decoder解码器

    • 作用:把中间表达作为初始化状态,逐个生成下句
    • 本质:一个RNN(单步生成,自回归,即:一次生成一个词)

Seq2Seq的实践

接下来,我们通过运行示例代码,对Seq2Seq模型有一个直观了解。

拉取代码

shell 复制代码
git clone https://github.com/domonic18/seq2seq_demo.git

安装依赖包

shell 复制代码
pip install jieba
pip install OpenCC

训练

shell 复制代码
# 进入seq2seq_demo目录
python main.py

运行结果:

可以看到首次运行的时候,预测结果与真实结果相差甚远,可以说翻译的能力很差。

当训练到第6轮的时候,预测结果与真实结果已经非常接近。

验证翻译能力

输入:Am I wrong?

可以看到经过初步训练,模型可以翻译简单的英语句子。

输入:A word spoken is past recalling.

对比有道词典的翻译结果,其翻译能力还是不足的。原因是当前的demo中data训练集只有3万条数据,如果加大data.txt的训练集数据,模型的能力是可以进一步提升的。

内容小结

  • Encoder-Decoder是一种通用的架构,Encoder-Decoder模型有多种应用,其中文本-文本广泛应用于机器翻译、文本摘要,对话系统等任务,是NLP的第一模型。
  • Seq2Seq模型是Encoder-Decoder模型的一种特例。
  • Encoder编码器的作用是解析问句,将其编码为一个中间表达Vector,其本质是一个RNN。
  • 中间表达承上启下,既是上句处理的结果,又是下句生成的参考,其本质是编码器RNN的最后一个时间步的隐藏状态 hn
  • Decoder解码器的作用是把中间表达作为初始化状态,逐个生成下句,其本质是一个自回归的RNN。

参考资料

CNBlog:Seq2Seq原理详解
CSDN:自然语言处理从零到入门 Encoder-Decoder 与 Seq2Seq

相关推荐
Blossom.1183 分钟前
机器学习在智能供应链中的应用:需求预测与物流优化
人工智能·深度学习·神经网络·机器学习·计算机视觉·机器人·语音识别
Gyoku Mint10 分钟前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类
zzywxc78712 分钟前
AI大模型的技术演进、流程重构、行业影响三个维度的系统性分析
人工智能·重构
点控云13 分钟前
智能私域运营中枢:从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
zhaoyi_he21 分钟前
多模态大模型的技术应用与未来展望:重构AI交互范式的新引擎
人工智能·重构
葫三生1 小时前
如何评价《论三生原理》在科技界的地位?
人工智能·算法·机器学习·数学建模·量子计算
m0_751336392 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
美狐美颜sdk5 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程6 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
郭庆汝6 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python