注意力机制

Transformer拆解01：Transformer为什么出现，RNN到底卡在哪里我是老计。想真正理解 Transformer，最好的起点不是直接背 Q、K、V，而是先问一句：在它出现之前，序列模型到底哪里不够用了？

前进的李工

Agent 学习笔记 04：KV Cache 与上下文缓存模型每生成一个token都得根据前面所有的token计算得来，如果每轮都重头计算一次，开销会随着上下文长度爆炸式增长。因此不会全部重新计算，这里就引入了KV Cache的理念，具体做法就是把前文的中间计算结果缓存下来，下一轮只需要计算新增token的部分。但这么做有一个前提——复用的上下文token前缀保持不变。哪里发生了变化就从首个不同token及以后的KV状态都得重新计算（该位置之前的依旧可以复用不受影响）

I Am a robert girl

当扩散编辑器“看不见”参考图：从 RefGAP 拆解参考注意力分配问题从今天觉醒,技术赋予每一个人数字生命参考引导的扩散编辑器（Reference-guided Diffusion Editor）是这两年视觉编辑领域最实用的方向之一：用户给一张参考人脸、一件衣服或一个背景，模型在保持原图结构不变的前提下，把目标区域替换成参考内容。换脸、虚拟试衣、背景替换，本质上都是同一个问题——编辑区域要“像参考”，保留区域要“不像参考”。

QN1幻化引擎

信号场注意力（SFA）：把 KV Cache 变成 O(1) 的双通道注意力——0.1B/0.3B 受控 A/B 精度反升 15.5% / 24.3%一句话：把注意力拆成「近场滑窗 softmax + 远场 EMA 信号场」两个通道，解码状态从随长度线性增长变成常数 2.362 MB（2,080 个位置下比标准注意力小 64.9×），而精度不降反升——0.1B 规模受控 A/B 相对困惑度降低 15.51%±0.21pp，0.3B 规模降低 24.34%±0.70pp（均以最差种子判定，预注册 fail-closed）。## 1. 问题：推理的瓶颈不是算力，是 KV Cache自回归解码每一步都要读全部历史的 K/V。标准注意力的 cache 随上下文

这张生成的图像能检测吗

（论文速读）LLSA：把 DiT 稀疏注意力从二次复杂度降到对数线性论文题目： Trainable Log-linear Sparse Attention for Efficient Diffusion Transformers（用于高效扩散 Transformer 的可训练对数线性稀疏注意力）

I Am a robert girl

如何循环 MoE：压平专家，解开注意力从今天觉醒,技术赋予每一个人数字生命过去两年，大模型架构的演进基本沿着两条独立路线展开。一条是循环 Transformer（Looped Transformer）：把同一组层反复用几遍，用额外算力把固定尺寸的模型"榨"得更充分，让参数被复用得更彻底。另一条是稀疏混合专家（MoE）：每个 token 只激活众多专家中的少数几个，从而在总参数量膨胀的同时控制单 token 计算量。

这张生成的图像能检测吗

（论文速读）AdaCluster：让视频 DiT 的稀疏注意力学会“区别对待”Q 和 K论文题目： AdaCluster: Adaptive Query-Key Clustering for Sparse Attention in Video Generation 中文翻译： AdaCluster：面向视频生成稀疏注意力的自适应 Query-Key 聚类会议： CVPR 2026 源码： https://github.com/USTC-MLSys-Team/Adacluster

AI你一生一世

Attention is all you have：当上下文成为唯一的护城河我是AI时代的无业游民，我游荡在现实与意念之间过去两年，主流大模型的上下文窗口从 8K 一路推到 1M 甚至 10M token。表面上看，这是"能塞更多文档"的工程红利；但在真实系统里，它带来的第一个问题不是性能，而是决策逻辑的崩塌。

【论文解读】DPSL：把“类内离散”一层层收缩掉，让复合故障不再与单故障混淆本文解读的论文是 Mechanical compound fault diagnosis via suppressing intra-class dispersions: A deep progressive shrinkage perspective，发表在 Measurement 上。

【论文解读】DCSN：面向船舶发动机少样本故障诊断的难样本挖掘船舶发动机的故障样本极其稀少，且不可避免地存在类间差异较小的难样本，给少样本条件下的故障诊断带来了很大挑战。针对这一问题，论文DCSN: Focusing on hard samples mining in small-sample fault diagnosis of marine engine提出了一种深度度量学习方法，名为深度同心孪生网络（Deep Concentric Siamese Network，简称 DCSN）。其核心想法是用一对同心边界把容易和难的样本对区分开来，让网络把主要的学习压力施加

注意力机制的进化：MHA → GQA → MLA → CSA → HCA本文梳理大语言模型（LLM）核心组件"注意力机制"的演进主线：前三个阶段（MHA → GQA → MLA）的核心问题是：如何让每个 token 的 KV 表示更窄、更省缓存——即沿着"宽度/特征维度"压缩。

猫先生Mr.Mao

大模型之Attention Is All You Need详解：Transformer如何用注意力重写序列建模【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。项目地址🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

从一条直线到大模型输出一个token（九）：输出矩阵与多层堆叠建议先看：从一条直线到大模型输出一个token（八）：残差连接与前馈网络上一篇走完了单个 Block 的六步。这一篇把 Block 复制 32 份串起来——不同层的 Block 各学什么，2024-2025 各家大模型到底堆了多少层，然后用 6 个 token 实地观察"浅→中→深"到底改了什么——这是理解"下一个 token 如何诞生"的关键一环。

BGE-M3 算法详解：从模型架构到三种检索方式的数学原理2024年1月30日，智源研究院（BAAI）发布了BGE家族的新成员——BGE-M3。BGE-M3是首个集多语言（Multi-Linguality）、多粒度（Multi-Granularity）、多功能（Multi-Functionality）三大技术特征于一体的语义向量模型-。

【从零开始大模型开发与微调:基于PyTorch与ChatGLM】(从注意力到自回归生成:彻底理解Transformer解码器)本文从1开始.前面介绍了编码器的架构和实现代码.那么相信你对编码器的编写已经很熟悉了.解码器是在编码器的基础上对模型进行少量修正,在不改变整体架构的基础上进行模型设计,可以说,如果掌握了编码器的原理,那么学习解码器的概念、设计和原理一定易如反掌.本文首先介绍解码器的原理和程序编写,然后着重解决一个非常大的问题——文本对齐.这是自然语言处理中一个不可轻易逾越的障碍,本文将以翻译模型为例,系统地讲解文本对齐的方法,并实现一个基于汉字和拼音的"翻译系统".

27届大模型面试准备（三十六）：注意力机制演进与 KV Cache 优化——从 MHA 到 MLA 的显存之战本篇是 A 系列第 36 篇（A12–A35 已覆盖 RAG、长上下文、VLM、高效推理、后训练、分布式训练、LoRA、量化、评测、MoE、推理时扩展、数据工程、位置编码、推理服务化、幻觉、蒸馏、安全、长文本推理、推理优化、多模态推理、RAG 进阶、解码策略、端侧部署、小模型蒸馏）。A29 讲了高效注意力（FlashAttention、稀疏、线性注意力），A30 讲了推理性能优化全栈。本文聚焦推理侧最贵的那块内存——KV Cache，从注意力机制的演进（MHA→MQA→GQA→MLA）一路讲到 KV Ca

《VLA 系列》π0.5 + KI | 知识隔离 | 离散与连续动作联合训练 | 论文与源码解析π0.5 已经能把多种机器人、任务和通用视觉语言数据放进同一个训练体系，但继续扩大数据并没有消除一个很现实的矛盾：自回归动作 token 训练得快，却要逐 token 解码；Flow Matching 动作专家推理快，却可能让一个随机初始化的机器人模块通过反向传播破坏预训练 VLM 的语言知识。Physical Intelligence 在 Knowledge Insulation（KI，知识隔离）中给出的答案，不是冻结 VLM，而是把两种动作表示放到同一个模型里训练，并只隔离有害的梯度路径。

python神经网络编程入门（三十五）——Transformer 整体架构——一张图看懂全貌📍 路标：本篇位于《从零构建 Transformer》系列第 6/16 章 · 架构篇。系列主线：注意力思想 → 自注意力 → 多头 → 位置编码 → 编解码架构 → 手撕实现 → 预训练模型 → 实战微调 → 知识收官。进度：▸ 基石篇(1-5) ▸ 架构篇(6-10·本篇) ▸ 预训练篇(11-13) ▸ 实战篇(14-16)

python神经网络编程入门（三十三）——多头注意力（Multi-Head Attention）📍 路标：本篇位于《从零构建 Transformer》系列第 4/16 章 · 基石篇。系列主线：注意力思想 → 自注意力 → 多头 → 位置编码 → 编解码架构 → 手撕实现 → 预训练模型 → 实战微调 → 知识收官。进度：▸ 基石篇(1-5·本篇) ▸ 架构篇(6-10) ▸ 预训练篇(11-13) ▸ 实战篇(14-16)

python神经网络编程入门（三十）——Transformer 从 RNN 到注意力：模型为什么需要“瞄一眼“📍 路标：本篇位于《从零构建 Transformer》系列第 1/16 章 · 基石篇。系列主线：注意力思想 → 自注意力 → 多头 → 位置编码 → 编解码架构 → 手撕实现 → 预训练模型 → 实战微调 → 知识收官。进度：▸ 基石篇(1-5·本篇) ▸ 架构篇(6-10) ▸ 预训练篇(11-13) ▸ 实战篇(14-16)