NLP 单双向RNN+LSTM+池化

单项RNN 从左往右顺序

双向RNN

import torch.nn as nn

import torch

nn.RNN(3,3,1,batch_first=True,bidirectional=True)

双向单层RNN(Recurrent Neural Network)是一种特殊类型的循环神经网络,它能够在两个方向上处

理序列数据,即正向和反向。这使得网络在预测当前输出时,能够同时考虑到输入序列中当前元素之前

的信息和之后的信息。双向单层RNN由两个独立的单层RNN组成,一个负责处理正向序列(从开始到结

束),另一个负责处理反向序列(从结束到开始)。

每一层RNN由两个RNN构成 一个考虑输入一个考虑输出共同决定本层状态

. RNN的训练方法------BPTT

随时间反向传播

本质还是BP算法,只不

过RNN处理时间序列数据,所以要基于时间反向传播

RNN不善于处理远期依赖性任务 比如长句子

比较擅长 有序列的短句

LSTM 长短期记忆网络

神经网络中不是单纯的一个层+激活函数了

而是多层+多个激活函数互相作用

核心是门控机制

基于 pytorch API 代码实现

在 LSTM 网络中,初始化隐藏状态 ( h0 ) 和细胞状态 ( c0 ) 是一个重要的步骤,确保模型在处理序列数据时有一个合理的起始状态。

def demo1():

class Model(nn.Module):

def init(self,input_size,hidden_size,output_size):

super().init()

self.output_size=output_size

self.hidden_size=hidden_size

self.lstm=nn.LSTM(input_size=input_size,hidden_size=self.hidden_size,batch_first=True)

self.fc=nn.Linear(hidden_size,output_size)

def forward(self,x):

self.h0=torch.zeros(1,x.shape[0],self.hidden_size)

self.c0=torch.zeros(1,x.shape[0],self.hidden_size)

lstm 的返回值为 out 和 (hn, cn) 。 out为隐藏状态 hn是最后一次的隐藏状态 cn为最后一次的细胞状态 output batch_first=True,形状为 (batch, seq_len, num_directions * hidden_size)

x,_=self.lstm(x,(self.h0,self.c0))

x=self.fc(x[-1][-1].view(x.shape[0],-1)) # 取最后一次的隐藏状态 当全连接的输出

return x

这里的假数据是词向量,不是序列下标 注意一下最后一个维度是input_size

model1=Model(3,16,10)

data=torch.rand(1,2,3)

res=model1(data)

print(res)

序列池化

在自然语言处理 (NLP) 中,序列池化(sequence pooling)是一种将变长序列转换为固定长度表示的方法。这个过程对于处理可变长度的输入(如句子或文档)特别有用,因为许多深度学习模型(如全连接层)需要固定长度的输入。

. 最大池化(Max Pooling):

一个批次中的每个字变为向量后 全部向量的对应维度 留下最大的那个

平均池化就是取平均值 nn.AdaptiveAvgPool1d

if name=="main":

demo1()

pass

相关推荐
新加坡内哥谈技术2 小时前
大型语言模型Claude的“思维模式”最近被公开解剖
人工智能·语言模型·自然语言处理
啊阿狸不会拉杆2 小时前
第二十二章:Python-NLTK库:自然语言处理
前端·python·自然语言处理
Chaos_Wang_12 小时前
NLP高频面试题(二十八)——Reward model是如何训练的,怎么训练一个比较好的Reward model
人工智能·机器学习·自然语言处理
紫雾凌寒15 小时前
自然语言处理|金融舆情解析:智能事件抽取与风险预警之道
人工智能·深度学习·自然语言处理·金融·事件抽取·金融舆情·风险预警
xidianjiapei0011 天前
构建大语言模型应用:句子转换器(Sentence Transformers)(第三部分)
人工智能·语言模型·自然语言处理·llm·transformer
L_cl1 天前
【NLP 面经 3】
人工智能·自然语言处理
Flash Bomb4221 天前
自然语言处理(20:(第五章5.)进一步改进RNNLM)
人工智能·rnn·语言模型·自然语言处理·lstm
Watermelo6171 天前
Manus使用的MCP协议是什么?人工智能知识分享的“万能插头”
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·数据挖掘
Chaos_Wang_1 天前
NLP高频面试题(二十三)对抗训练的发展脉络,原理,演化路径
人工智能·自然语言处理
风吹草地现牛羊的马2 天前
mac m1/m2/m3 pyaudio的安装
深度学习·macos·自然语言处理·#pyaudio