Mamba 状态空间模型 笔记 llm框架 一维卷积

动画讲解 Mamba 状态空间模型_哔哩哔哩_bilibili

旧文本向量乘权重加残差 感觉好像transformer

过个llm head输出y

卷积真的很快

参考一文通透想颠覆Transformer的Mamba:从SSM、HiPPO、S4到Mamba(被誉为Mamba最佳解读)_mamba模型-CSDN博客

偷了

Transformer的二次复杂度哪来的

为什么rnn会忘记一部分信息,mamba不会

mamba的A,B,C矩阵是独立于文本存在的吗

参考【官方Mamba库】原理简述和代码解析_mamba模型代码-CSDN博客

mamba没有rnn的tanh激活函数怎么实现非线性化的

相关推荐
启观川1 小时前
数据结构与算法 -第 3 章 常用算法-动态规划
数据结构·笔记·python·算法
一木 之林2 小时前
Dify学习笔记 01 · 平台入门与实战:部署、五类应用、RAG与MCP(第1-16集)
人工智能·笔记·学习·计算机视觉
weixin_448119942 小时前
Datawhale Easy Data × AI:构建知识与记忆驱动的 Agent笔记8
人工智能·笔记·react.js
陈年老古董3 小时前
Hive 函数学习笔记(下):窗口函数与经典案例
hive·笔记·学习
yi0113 小时前
LeetCode 643. 子数组最大平均数 I|从暴力枚举到滑动窗口
人工智能·笔记·python·算法·leetcode·滑动窗口
罗西的思考3 小时前
[Agent Memory / 强化学习] MemPO源码学习笔记 — (6)— 奖励机制
人工智能·笔记·学习
拾饵9424 小时前
第六周第二个项目笔记:FinInsRAG 项目学习笔记(零基础版)以及简历书写
笔记·学习
han68894 小时前
selenium之实战
笔记·python·selenium·测试工具·自动化
Lost_the_wind4 小时前
MySQL 学习笔记三
笔记·学习·mysql
北京海得康6 小时前
Atebrioz(zilurgisertib):靶向ALK2通路,FOP超罕见病全新口服治疗方案
笔记