Mamba 状态空间模型 笔记 llm框架 一维卷积

动画讲解 Mamba 状态空间模型_哔哩哔哩_bilibili

旧文本向量乘权重加残差 感觉好像transformer

过个llm head输出y

卷积真的很快

参考一文通透想颠覆Transformer的Mamba:从SSM、HiPPO、S4到Mamba(被誉为Mamba最佳解读)_mamba模型-CSDN博客

偷了

Transformer的二次复杂度哪来的

为什么rnn会忘记一部分信息,mamba不会

mamba的A,B,C矩阵是独立于文本存在的吗

参考【官方Mamba库】原理简述和代码解析_mamba模型代码-CSDN博客

mamba没有rnn的tanh激活函数怎么实现非线性化的

相关推荐
David猪大卫1 小时前
【C++修炼】哈希表的实现
数据结构·c++·笔记·学习·算法·哈希算法·散列表
江湖人称菠萝包1 小时前
【Windows】《深入浅出Windows API程序设计:核心编程篇》笔记-Chapter6-动态链接库
windows·笔记
宵时待雨2 小时前
linux笔记归纳18:传输层协议TCP
linux·网络·笔记·网络协议·tcp/ip
逆境不可逃2 小时前
Pi Agent 学习笔记:一次提问背后的工具调用循环
java·笔记·学习
Ztt6666666662 小时前
紫釉高筒壶向上收紧,修长器身更显精神
经验分享·笔记·其他·百度·微信公众平台
疯狂打码的少年2 小时前
【计算机网络】UDP协议与TCP/UDP对比(面向连接vs无连接)
笔记·tcp/ip·计算机网络·udp
巧克力味的桃子4 小时前
模拟大厂大模型方向面试题
笔记
Peng7114 小时前
浙大数据可视化课程学习笔记
笔记·学习·信息可视化
今儿敲了吗4 小时前
02词云生成器
笔记·python
hanlin034 小时前
刷题笔记:力扣第287题-寻找重复数
笔记·算法·leetcode