sparse transformer 常见稀疏注意力

参考:

https://zhuanlan.zhihu.com/p/259591644

主要就是降低transformer自注意力模块的复杂度

复杂度主要就是 Q · K^T影响的,稀疏注意力就是在Q点乘K的转置这模块做文章

下列式一些sparse transformer稀疏注意力方法

a、transformer原始的 , Q · K^T,其中 K^T 表示 K 的转置

b、每个token与前后三个做自注意力计算

c、膨胀注意力(dilated attention):每个token与前后三个做自注意力计算,但这三个有间隔,就是比如第一个token看右面3,5,7

d、全局token是第一二个token看所有的token,3及后面的token只看· K^T 矩阵的1、2token;sliding划窗见b

a、全局token是第一二个token看所有的token,3及后面的token只看· K^T 矩阵的1、2token

b、划窗

c、见上面c

d、random

e、Q矩阵的123token 看 · K^T123token;Q矩阵的456token 看 · K^T456token 。。。。

相关推荐
終不似少年遊*18 分钟前
国产之光DeepSeek架构理解与应用分析04
人工智能·python·深度学习·算法·大模型·ds
訾博ZiBo1 小时前
AI日报 - 2025年4月23日
人工智能
羊小猪~~1 小时前
深度学习基础--CNN经典网络之InceptionV3详解与复现(pytorch)
网络·人工智能·pytorch·python·深度学习·机器学习·cnn
筱小虾米1 小时前
Dify忘记管理员密码,重置的问题
人工智能·学习·dify
果冻人工智能1 小时前
人类终于打开了AI的黑箱!
人工智能
深度学习lover1 小时前
<项目代码>YOLO小船识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·小船识别
Want5951 小时前
大模型安全吗?数据泄露与AI伦理的黑暗面!
网络·人工智能·安全·aigc
橙色小博1 小时前
RBF(径向基神经网络)基础解析与代码实例:拟合任意函数
人工智能·pytorch·深度学习·神经网络·rbf
飞哥数智坊2 小时前
艺术家的梦想要实现了?即梦3.0作品提示词
人工智能
九丘教育2 小时前
【仓颉 + 鸿蒙 + AI Agent】CangjieMagic框架(15):NaiveExecutor
人工智能·华为·harmonyos