自然语言处理(一):RNN

「循环神经网络」(Recurrent Neural Network,RNN)是一个非常经典的面向序列的模型,可以对自然语言句子或是其他时序信号进行建模。进一步讲,它只有一个物理RNN单元,但是这个RNN单元可以按照时间步骤进行展开,在每个时间步骤接收当前时间步的输入和上一个时间步的输出,然后进行计算得出本时间步的输出。

Why

  1. CNN 需要固定长度的输入、输出,RNN 的输入和输出可以是不定长且不等长的
  2. CNN 只有 one-to-one 一种结构,而 RNN 有多种结构,如下图:

Model

  • 简单模型示例

循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x,还取决于上一次隐藏层的值s。「权重矩阵」 W就是**「隐藏层」**上一次的值作为这一次的输入的权重。

  • RNN时间线展开

时刻的输入,不仅是 ,还应该包括上一个时刻所计算的 。

  • 使用公式表示

示例

下面我们举个例子来讨论一下,如图所示,假设我们现在有这样一句话:"我爱人工智能",经过分词之后变成"我,爱,人工,智能"这4个单词,RNN会根据这4个单词的时序关系进行处理,在第1个时刻处理单词"我",第2个时刻处理单词"爱",依次类推。

从图上可以看出,RNN在每个时刻 均会接收两个输入,一个是当前时刻的单词 ,一个是来自上一个时刻的输出 ,经过计算后产生当前时刻的输出 。例如在第2个时刻,它的输入是"爱"和 ,它的输出是 ;在第3个时刻,它的输入是"人工"和 , 输出是 ,依次类推,直到处理完最后一个单词。

总结一下,RNN会从左到右逐词阅读这个句子,并不断调用一个相同的RNN Cell来处理时序信息,每阅读一个单词,RNN首先将本时刻 的单词 和这个模型内部记忆的**「状态向量」** 融合起来,形成一个带有最新记忆的状态向量 。

  • 「Tip」:当RNN读完最后一个单词后,那RNN就已经读完了整个句子,一般可认为最后一个单词输出的状态向量能够表示整个句子的语义信息,即它是整个句子的语义向量,这是一个常用的想法。

Code

  • 数据准备

    import torch
    import torch.nn as nn
    import numpy as np

    torch.manual_seed(0) # 设置随机种子以实现可重复性

    seq_length = 5
    input_size = 1
    hidden_size = 10
    output_size = 1
    batch_size = 1

    time_steps = np.linspace(0, np.pi, 100)
    data = np.sin(time_steps)
    data.resize((len(time_steps), 1))

    Split data into sequences of length 5

    x = []
    y = []
    for i in range(len(data)-seq_length):
    _x = data[i:i+seq_length]
    _y = data[i+seq_length]
    x.append(_x)
    y.append(_y)

    x = np.array(x)
    y = np.array(y)

  • Model

    class RNN(nn.Module):
    def init(self, input_size, hidden_size, output_size):
    super(RNN, self).init()
    self.hidden_size = hidden_size
    self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)
    self.fc = nn.Linear(hidden_size, output_size)

    复制代码
      def forward(self, x, hidden):
          out, hidden = self.rnn(x, hidden)
          out = out.view(-1, self.hidden_size)
          out = self.fc(out)
          return out, hidden
  • Train

    model = RNN(input_size, hidden_size, output_size)
    criterion = nn.MSELoss()
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)

    for epoch in range(100):
    total_loss = 0
    hidden = None
    for i in range(len(x)):
    optimizer.zero_grad()
    input_ = torch.Tensor(x[i]).unsqueeze(0)
    target = torch.Tensor(y[i])
    output, hidden = model(input_, hidden)
    hidden = hidden.detach()
    loss = criterion(output, target)
    loss.backward()
    optimizer.step()
    total_loss += loss.item()

    复制代码
      if epoch % 10 == 0:
          print(f'Epoch {epoch}, Loss: {total_loss}')

缺点

  • 当阅读很长的序列时,网络内部的信息会逐渐变得越来越复杂,以至于超过网络的记忆能力,使得最终的输出信息变得混乱无用。

参考

  1. https://zhuanlan.zhihu.com/p/30844905
  2. https://paddlepedia.readthedocs.io/en/latest/tutorials/sequence_model/rnn.html
  3. https://saturncloud.io/blog/building-rnn-from-scratch-in-pytorch/
  4. https://pytorch.org/docs/stable/generated/torch.nn.RNN.html

本文由mdnice多平台发布

相关推荐
zhurui_xiaozhuzaizai3 小时前
word2vector细致分解(CBOW, SKIP_GRAM, 层次soft Max, 负采样)
人工智能·自然语言处理·word2vec
开放知识图谱18 小时前
论文浅尝 | 利用大语言模型进行高效实体对齐(ACL2024)
人工智能·语言模型·自然语言处理
数据知道1 天前
一文掌握Bard机器翻译,以及用python调用的4种方式(现已升级为 Gemini)
python·自然语言处理·bard·机器翻译·gemini
计算机科研圈2 天前
字节Seed发布扩散语言模型,推理速度达2146 tokens/s,比同规模自回归快5.4倍
人工智能·语言模型·自然语言处理·数据挖掘·开源·字节
java1234_小锋2 天前
【NLP舆情分析】基于python微博舆情分析可视化系统(flask+pandas+echarts) 视频教程 - 词云图-微博评论词云图实现
python·自然语言处理·flask·nlp·nlp舆情分析
watersink2 天前
最小VL视觉语言模型OmniVision-968M
人工智能·语言模型·自然语言处理
Xyz_Overlord2 天前
NLP——BERT模型全面解析:从基础架构到优化演进
人工智能·自然语言处理·bert·transformer·迁移学习
这张生成的图像能检测吗2 天前
(论文速读)探索多模式大型语言模型的视觉缺陷
人工智能·深度学习·算法·计算机视觉·语言模型·自然语言处理
云渚钓月梦未杳2 天前
NLP自然语言处理 03 Transformer架构
人工智能·自然语言处理·transformer
大千AI助手2 天前
FLAN-T5:大规模指令微调的统一语言模型框架
人工智能·神经网络·语言模型·自然语言处理·微调·t5·finetune