【深度学习】RNN循环神经网络的原理

sentiment analysis,根据评价来判断为好评还是差评。例如I hate this boring movie,每个单词都用一个张量100进行表示,整句话就可以用张量5, 100进行表示。每个单词经过线性层操作之后(w和b的shape为100, 2),与线性层相连接提取特征,抽取高层特征,会得到一个张量2,经过加和计算可以得到张量5, 2,进而得到概率值P(pos|x)判断评论的好坏属性。

但是这样的方法存在问题,当句子太长的时候,w,b的参数太多。这时候我们可以采用权值共享的方法,把所有的w, b用同一个值进行处理,这样会大大减少参数量。

而且没有一个上下语境信息,我们不能一个一个的单词进行处理,而需要看整体的句子,需要持续的协调一致的张量(consistent tensor),存储统一的语境信息。首先,初始化h0,第一个单词不仅输入输入的特征向量 "I",还输入初始值h0的特征向量;第二个单词,输入 "hate"的同时,也输入上一时刻的语境信息 h1;第三个单词,输入 "this"的同时,也输入上一时刻的语境信息 h2。

简化之后,可以得到如果输入特征为5, 3, 100,一句话有5个单词,有三个句子batch,每个单词用100维的特征向量进表示,输入一句话的时候shape为3, 100,然后进行不断自我更新,自我更新机制取决于上一时刻的输出和当前输入。

展开之后可以得到:

如何进行训练RNN呢?

相关推荐
奔跑中的小象11 小时前
统信UOS + 天数AI卡部署SGLang服务手册
人工智能·uos·sglang·天数智芯
DevSecOps选型指南11 小时前
中国版Mythos,为何是悬镜安全灵脉CodeAI?
人工智能·安全
Shockang11 小时前
LangGraph 状态机实战
人工智能
刹那芳华199211 小时前
循环神经网络的从零开始实现(RNN)
人工智能·rnn·深度学习
阿童木写作11 小时前
跨境图片翻译工具多合一,批量图片视频字幕翻译加智能抠图
人工智能·python·音视频·语音识别
科技之门11 小时前
AI3D从建模到贴图、绑骨和动画的完整流程怎么做?V2Fun完整工作流指南
人工智能·3d·贴图
宇宙第一小趴菜11 小时前
二、机器学习的应用领域和发展史
人工智能·机器学习
前端开发江鸟11 小时前
我写过 MCP Server,却一直以为 MCP 只有 Tool
人工智能
天国梦12 小时前
自习室智能化升级避坑指南:天学网AI智习室方案实测与选型建议
大数据·人工智能
阿里云云原生12 小时前
可用性从 99.9% 跃升至 99.995%:畅捷通如何用 AI 重塑运维底座?
运维·网络·人工智能