七、深度学习——RNN

一、RNN网络原理

  • 文本数据是具有序列特性的。为了表示出数据的序列关系,需要使用循环神经网络(Recurrent Nearal Networks,RNN)来对数据进行建模,RNN是一个作用于处理带有序列特点的样本数据

1.RNN的计算过程

  • h表示隐藏状态,每一次的输入都会包含两个值:上一个时间步的隐藏状态,当前状态的输入值,输出当前时间步的隐藏状态和当前时间步的预测结果

实际上,字是重复输入到同一个神经元中的

2.神经元内部的计算过程

ht=tanh(Wihxt+bih+Whhht−1+bhh)h_t= tanh(W_{ih}x_t+b_{ih}+W_{hh}h_{t-1}+b_{hh})ht=tanh(Wihxt+bih+Whhht−1+bhh)

  • WihW_{ih}Wih表示输入数据的权重
  • bihb_{ih}bih表示输入数据的偏置
  • WhhW_{hh}Whh表示输入隐藏状态的权重
  • bhhb_{hh}bhh表示输入隐藏状态的偏置
  • 最后对输出结果使用tanh激活函数进行计算,得到该神经元的输出

3.API

python 复制代码
RNN = torch.nn.RNN(input_size, hidden_size, num_layer)
  • input_size:输入数据的维度,一般设为词向量的维度
  • hidden_size:隐藏层h的维数,也是当前层神经元的输出维度
  • num_layer:隐藏层h的层数,默认为1

将RNN实例化就可以将数据送入进行处理,处理方式如下:

python 复制代码
output, hn = RNN(x, h0)
  • 输入数据:输入主要包括词嵌入的x,初始的隐藏层h0

    • x的表示形式为[seq_len, batch, input_size],即[句子的长度,batch的大小,词向量的维度]
    • h0的表示形式为[num_layers, batch, hidden_size],即[隐藏层的层数, batch的大小,隐藏层h的维数](初始化设置为全0)
  • 输出结果:主要包括输出结果output,最后一层的hn

    • output的表示形式为[seq_len, batch, input_size],即[句子的长度,batch的大小,词向量的维度]
    • hn的表示形式为[num_layers, batch, hidden_size],即[隐藏层的层数, batch的大小,隐藏层h的维数]
相关推荐
天天找自己8 分钟前
机器学习基石:深入解析线性回归
人工智能·机器学习·线性回归
Godspeed Zhao1 小时前
自动驾驶中的传感器技术12——Camera(3)
人工智能·机器学习·自动驾驶
tangjunjun-owen1 小时前
单类别目标检测中的 Varifocal Loss 与 mAP 评估:从原理到实践(特别前景和背景类区分)
人工智能·目标检测·计算机视觉
爆改模型1 小时前
【CVPR2025】计算机视觉|AnomalyNCD:让工业异常分类“脱胎换骨”!
人工智能·计算机视觉·分类
Fabarta技术团队1 小时前
Fabarta个人专属智能体限时体验中:高效、安全的长文写作新搭档
人工智能·科技·智能体
暴躁的大熊1 小时前
LLM大模型时代:生活服务领域的“生存革命“与新生态重构
人工智能
Blossom.1182 小时前
基于深度学习的医学图像分析:使用MobileNet实现医学图像分类
人工智能·深度学习·yolo·机器学习·分类·数据挖掘·迁移学习
德育处主任2 小时前
「豆包」加「PromptPilot」等于「优秀员工」
人工智能·llm·aigc
字节跳动安全中心2 小时前
猎影计划:从密流中捕获 Cobalt Strike 的隐秘身影
人工智能·安全·llm
技术炼丹人2 小时前
从RNN为什么长依赖遗忘到注意力机制的解决方案以及并行
人工智能·python·算法