七、深度学习——RNN

一、RNN网络原理

  • 文本数据是具有序列特性的。为了表示出数据的序列关系,需要使用循环神经网络(Recurrent Nearal Networks,RNN)来对数据进行建模,RNN是一个作用于处理带有序列特点的样本数据

1.RNN的计算过程

  • h表示隐藏状态,每一次的输入都会包含两个值:上一个时间步的隐藏状态,当前状态的输入值,输出当前时间步的隐藏状态和当前时间步的预测结果

实际上,字是重复输入到同一个神经元中的

2.神经元内部的计算过程

ht=tanh(Wihxt+bih+Whhht−1+bhh)h_t= tanh(W_{ih}x_t+b_{ih}+W_{hh}h_{t-1}+b_{hh})ht=tanh(Wihxt+bih+Whhht−1+bhh)

  • WihW_{ih}Wih表示输入数据的权重
  • bihb_{ih}bih表示输入数据的偏置
  • WhhW_{hh}Whh表示输入隐藏状态的权重
  • bhhb_{hh}bhh表示输入隐藏状态的偏置
  • 最后对输出结果使用tanh激活函数进行计算,得到该神经元的输出

3.API

python 复制代码
RNN = torch.nn.RNN(input_size, hidden_size, num_layer)
  • input_size:输入数据的维度,一般设为词向量的维度
  • hidden_size:隐藏层h的维数,也是当前层神经元的输出维度
  • num_layer:隐藏层h的层数,默认为1

将RNN实例化就可以将数据送入进行处理,处理方式如下:

python 复制代码
output, hn = RNN(x, h0)
  • 输入数据:输入主要包括词嵌入的x,初始的隐藏层h0

    • x的表示形式为[seq_len, batch, input_size],即[句子的长度,batch的大小,词向量的维度]
    • h0的表示形式为[num_layers, batch, hidden_size],即[隐藏层的层数, batch的大小,隐藏层h的维数](初始化设置为全0)
  • 输出结果:主要包括输出结果output,最后一层的hn

    • output的表示形式为[seq_len, batch, input_size],即[句子的长度,batch的大小,词向量的维度]
    • hn的表示形式为[num_layers, batch, hidden_size],即[隐藏层的层数, batch的大小,隐藏层h的维数]
相关推荐
猫头虎13 分钟前
什么是AI+?什么是人工智能+?
人工智能·ai·prompt·aigc·数据集·ai编程·mcp
聚客AI14 分钟前
💡为什么你的RAG回答总是胡言乱语?致命瓶颈在数据预处理层
人工智能·langchain·llm
彭军辉24 分钟前
什么是AI宠物
人工智能
siliconstorm.ai36 分钟前
穿越周期:AIoT产业的真实突破口与实践路径
大数据·人工智能
爱喝奶茶的企鹅1 小时前
Ethan独立开发新品速递 | 2025-08-27
人工智能
武子康1 小时前
AI-调查研究-59-机器人 行业职业地图:发展路径、技能要求与薪资全解读
人工智能·gpt·程序人生·ai·职场和发展·机器人·个人开发
大视码垛机1 小时前
大视码垛机器人:以技术优势撬动工业码垛升级
人工智能·机器人·自动化·制造
夜郎king1 小时前
基于高德地图的怀化旅发精品路线智能规划导航之旅
人工智能
MarkHD2 小时前
AI提示词30天入门培训计划
人工智能·chatgpt
xw33734095642 小时前
目标检测基础
人工智能·yolo