Encoder-Decoder编码器-解码器是一种深度学习模型，应用于图像处理、语音识别、自然语言处理等领域。主要由编码器和解码器两部分组成，这种结构能够处理序列到序列的任务。
编码器-解码器模型具备独特的双阶段处理，先对输入信息进行编码，后根据编码信息生成输出
编码器：接收输入序列，转换成固定长度的上下文向量
解码器：接受上下文向量，转换成输出序列
编码过程通常通过RNN（Recurrent Neural Networks,）、LSTM（Long Short-Term Memory）或GRU（Gated Recurrent Unit ）等循环结构实现。目标是将输入信息压缩为密集向量，这个向量被称为上下文向量 或编码向量，这能尽量保留输入序列的全部有意义信息。
解码过程同样通过RNN、LSTM或GRU等循环神经网络结构实现，其初始状态依据编码器最终状态初始化，以此保证信息传递。解码器在每个时间步基于前一时间步的输出和隐藏状态，生成当前时间步的输出，并逐步构造整个输出序列。为更好处理序列生成中的长期依赖问题，需要引入Attention Mechanism注意力机制，这能使解码器在生成每个词时动态关注输入序列的不同部分，从而提高模型性能和可解释性。
工作流程
- 输入编码：输入序列通过嵌入层转化为词向量序列，然后送入编码器网络。编码器逐个处理这些词向量，每次处理时更新其隐藏状态，最终的隐藏状态作为整个序列的编码表示。
- 上下文向量生成：RNN结构中编码器最终隐藏状态直接作为解码器初始状态；引入注意力机制，综合编码器所有隐藏状态形成上下文向量，为每个解码时间步提供动态的输入依赖。
- 输出解码：解码器从一个特殊起始符开始，根据编码信息（上下文向量）生成第一个输出。随后利用上一时间步的输出和隐藏状态及可能的注意力权重，逐步生成后续的序列元素，直到生成结束符或达到预设的最大序列长度。
- 训练与评估：常采用最大似然估计，计算最小化预测序列与真实序列之间的交叉熵损失。
为解决训练过程中序列长度不一的问题，常采用Teacher Forcing方法：训练时解码器的每个时间步输入直接使用真实标签，而非使用模型上一时间步的预测输出。
应用场景
- 机器翻译任务中，作为序列转换模型的核心问题， 其输入和输出都是长度可变的序列。 为了处理这种类型的输入和输出，便需要设计一个包含两个主要组件的架构： 第一个组件是一个编码器encoder： 它接受一个长度可变的序列作为输入， 并将其转换为具有固定形状的编码状态。 第二个组件是解码器decode： 它将固定形状的编码状态映射到长度可变的序列。
- 图像处理任务中，在编码器-解码器的前半部分，输入图像被缩小到使用几层卷积神经网络（CNN）和池化层的特征图。在后半部分，特征图被上采样到输入图像大小以产生二进制掩码。这种处理体现了编码器-解码器模型结合ResNet和U-Net的跳过连接概念进行的创新。