rwkv

这是谁的博客？20 天前
ai·rwkv·flash attention·高效注意力·performer·linformer·retnet
高效注意力机制深度解析：从 Linear Attention 到 RWKV 的线性复杂度序列建模Transformer 的自注意力机制计算复杂度为 O ( n 2 ) O(n^2) O(n2)，随序列长度二次增长，成为长上下文建模的核心瓶颈。本文系统梳理了高效注意力机制的技术全景，从稀疏注意力、线性注意力到状态空间模型，深入分析 Performer、Linformer、RWKV、RetNet 等代表性方法的数学原理和架构设计。文章涵盖核技巧、低秩近似、递推状态更新等核心技术，并提供完整的性能对比和选型指南。
TimTu1 年前
人工智能·rwkv·deeplearning
RWKV-7 架构理解阅读之前你可以前往 RWKV wiki 了解一些关于 RWKV 的基本知识，不过他们的 wiki 似乎没有对模型架构的详细介绍，于是便有了这篇文章。
华为云开发者联盟2 年前
rnn·深度学习·大模型·transformers·rwkv·华为云开发者联盟
结合RNN与Transformer双重优点，深度解析大语言模型RWKV本文分享自华为云社区《【云驻共创】昇思MindSpore技术公开课 RWKV 模型架构深度解析》，作者：Freedom123。
BQW_3 年前
rnn·自然语言处理·llm·rwkv·模型结构
【自然语言处理】【大模型】RWKV：基于RNN的LLM相关博客 【自然语言处理】【大模型】RWKV：基于RNN的LLM 【自然语言处理】【大模型】CodeGen：一个用于多轮程序合成的代码大语言模型 【自然语言处理】【大模型】CodeGeeX：用于代码生成的多语言预训练模型 【自然语言处理】【大模型】LaMDA：用于对话应用程序的语言模型 【自然语言处理】【大模型】DeepMind的大模型Gopher 【自然语言处理】【大模型】Chinchilla：训练计算利用率最优的大语言模型 【自然语言处理】【大模型】大语言模型BLOOM推理工具测试 【自然语言处理】【
我是有底线的