Datawhale Happy-LLM 课程 task 4：Encoder-Decoder

Datawhale Happy-LLM 课程 task 4：Encoder-Decoder

• [Seq2Seq 模型](#Seq2Seq 模型)
• 参考

此博客为Datawhale 组队学习打卡笔记

---

Seq2Seq 模型

• 机器翻译任务即是一个经典的 Seq2Seq 任务
• 一般的思路是进行编码再解码
• Transformer 由 Encoder 和 Decoder 组成，每一个 Encoder（Decoder）又由 6个 Encoder（Decoder）Layer 组成。
• Encoder 和 Decoder 内部传统神经网络的经典结构------前馈神经网络（FNN）、层归一化（Layer Norm）和残差连接（Residual Connection），然后进一步分析 Encoder 和 Decoder 的内部结构。

参考

1 https://github.com/datawhalechina/happy-llm