rnn循环神经网络

RNN循环神经网络概述

RNN（Recurrent Neural Network）是一种处理序列数据的神经网络结构，其核心特点是具有循环连接，允许信息在网络中持久化。这种特性使其适合处理时间序列、自然语言等具有时序关系的数据。

基本结构

RNN的隐藏层神经元不仅接收当前时刻的输入，还接收上一时刻的隐藏状态。数学表达式为： $h_t = \\sigma(W_{xh}x_t + W_{hh}h_{t-1} + b_h)$ $y_t = W_{hy}h_t + b_y$ 其中：

( h_t ) 是当前时刻的隐藏状态
( x_t ) 是当前输入
( W ) 为权重矩阵
( \sigma ) 为激活函数（如tanh）

常见变体

LSTM（长短期记忆网络） 通过引入门控机制（输入门、遗忘门、输出门）解决梯度消失问题。计算公式： $f_t = \\sigma(W_f \\cdot \[h_{t-1}, x_t$ + b_f) ] $i_t = \\sigma(W_i \\cdot \[h_{t-1}, x_t$ + b_i) ] $\\tilde{C}*t = \\tanh(W_C \\cdot \[h* {t-1}, x_t$ + b_C) ] $C_t = f_t \\odot C_{t-1} + i_t \\odot \\tilde{C}*t$ $o_t = \\sigma(W_o \\cdot \[h*{t-1}, x_t$ + b_o) ] $h_t = o_t \\odot \\tanh(C_t)$

GRU（门控循环单元） 简化版LSTM，合并遗忘门和输入门为更新门： $z_t = \\sigma(W_z \\cdot \[h_{t-1}, x_t$ ) ] $r_t = \\sigma(W_r \\cdot \[h_{t-1}, x_t$ ) ] $\\tilde{h}*t = \\tanh(W \\cdot \[r_t \\odot h*{t-1}, x_t$ ) ] $h_t = (1 - z_t) \\odot h_{t-1} + z_t \\odot \\tilde{h}_t$

应用场景

机器翻译：序列到序列建模
语音识别：时序信号处理
股票预测：时间序列分析
文本生成：字符/单词级预测

PyTorch实现示例

python 复制代码

import torch.nn as nn

class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super().__init__()
        self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        out, _ = self.rnn(x)  # out.shape: (batch, seq_len, hidden_size)
        return self.fc(out[:, -1, :])  # 取最后一个时间步输出

# LSTM示例
lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=2)

训练技巧

梯度裁剪：防止梯度爆炸

python 复制代码

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

双向RNN：捕获前后文信息

python 复制代码

nn.LSTM(..., bidirectional=True)

序列填充：处理变长序列

python 复制代码

from torch.nn.utils.rnn import pad_sequence
padded = pad_sequence(sequences, batch_first=True)

局限性

长序列处理能力有限（尽管LSTM/GRU有所改善）
并行计算效率低于Transformer
对近期输入存在偏置

实际应用中，Transformer架构在多数序列任务中已取代RNN，但在资源受限或需要在线学习的场景中，RNN仍具实用价值。