深度学习----------------------------编码器、解码器架构

目录

重新考察CNN

编码器:将输入编码成中间表达形式(特征)

解码器:将中间表示解码成输出。


重新考察RNN

编码器:将文本 表示成向量

解码器:向量 表示成输出。


编码器-解码器架构

一个模块被分为两块:

编码器处理输出
解码器生成输出


总结

使用编码器-解码器架构的模型,编码器负责表示输入,解码器负责输出。


编码器=解码器架构

编码器

python 复制代码
# 编码器
from torch import nn


class Encoder(nn.Module):
    """编码器-解码器结构的基本编码器接口"""

    #  Encoder 类的构造函数,它接受任意数量的关键字参数
    def __init__(self, **kwargs):
        # 调用了父类 nn.Module 的构造函数,确保正确初始化
        super(Encoder, self).__init__(**kwargs)

    # 给一个X,输出其状态

    def forward(self, X, *args):
        # 抛出一个 NotImplementedError 异常,表示该方法需要在子类中进行实现。
        raise NotImplementedError

解码器

python 复制代码
# 解码器
class Decoder(nn.Module):
    def __init__(self, **kwargs):
        super(Decoder, self).__init__(**kwargs)

    # 有一个中介状态,编码器的东西传给解码器,拿到编码器的输出enc_outputs,然后初始化状态。

    def init_state(self, enc_outputs, *args):
        raise NotImplementedError

    # 拿到额外的输出X, state是用来不断更新的

    def forward(self, X, state):
        raise NotImplementedError

合并编码器和解码器

python 复制代码
# 编码器
from torch import nn


# 合并编码器和解码器
class EncoderDecoder(nn.Module):
    """编码器-解码器结构的基类"""

    def __init__(self, encoder, decoder, **kwargs):
        super(EncoderDecoder, self).__init__(**kwargs)
        self.encoder = encoder
        self.decoder = decoder

    def forward(self, enc_X, dec_X, *args):
        # 使用编码器对输入进行编码
        enc_outputs = self.encoder(enc_X, *args)
        # 使用编码器的输出初始化解码器的状态
        dec_state = self.decoder.init_state(enc_outputs, *args)
        # 使用解码器进行解码
        return self.decoder(dec_X, dec_state)

相关推荐
瓶瓶持续学习中10 分钟前
物理AI与具身智能的技术架构区别:从空间建模到机器人动作执行
人工智能·机器人
羲云网络15 分钟前
GPT Image 2.6 精准编辑前,先排查参考图的访问权限与输入交接
图像处理·人工智能·aigc
snakeshe101023 分钟前
ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程
人工智能
智联视频超融合平台4 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟5 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯6 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐6 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777714 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn14 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent