mla

小红书算法一面八# DeepSeek R1的MLA：KV缓存的低秩压缩革命MLA（Multi-Head Latent Attention，多头潜在注意力）是DeepSeek R1前3层采用的核心创新机制，其**通过低秩联合压缩技术将KV缓存大小降低90%以上**，同时保持与标准多头注意力（MHA）相当的性能，为长上下文推理与高吞吐量部署提供了关键支撑。

27届大模型面试准备（三十六）：注意力机制演进与 KV Cache 优化——从 MHA 到 MLA 的显存之战本篇是 A 系列第 36 篇（A12–A35 已覆盖 RAG、长上下文、VLM、高效推理、后训练、分布式训练、LoRA、量化、评测、MoE、推理时扩展、数据工程、位置编码、推理服务化、幻觉、蒸馏、安全、长文本推理、推理优化、多模态推理、RAG 进阶、解码策略、端侧部署、小模型蒸馏）。A29 讲了高效注意力（FlashAttention、稀疏、线性注意力），A30 讲了推理性能优化全栈。本文聚焦推理侧最贵的那块内存——KV Cache，从注意力机制的演进（MHA→MQA→GQA→MLA）一路讲到 KV Ca

【arXiv 2024】DeepSeek-V2 论文解读：经济训练与高效推理的 MoE 大语言模型｜从稀疏架构降本增效视角本文解读 arXiv 2024 论文《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》。该论文提出DeepSeek-V2 大语言模型，通过融合MLA（多头潜在注意力）、DeepSeekMoE（细粒度专家稀疏）与GRPO 两阶段对齐，在 236B 总参数、每 token 仅激活 21B 的条件下支持 128K 上下文，其特别之处在于用低秩 KV 联合压缩把推理显存瓶颈转化为一次可被矩阵吸收的

空巢青年_rui

【翻译】现代LLM中注意力变体的可视化指南：从MHA和GQA到MLA、稀疏注意力机制和混合架构原文地址：A Visual Guide to Attention Variants in Modern LLMs

大模型推理引擎vLLM(14): 什么是MLA多头潜在注意力abstract MLA就是压缩KV减少显存占用增加向量维度表示位置信息，以支持矩阵乘法融合，视频地址：DeepSeek-v2 MLA 原理讲解多头潜在注意力怎么解决旋转位置编码的问题解决方式就是给Q K向量额外增加一些维度来表示位置信息，

【大模型系列篇】国产开源大模型DeepSeek-V3技术报告解析目录DeepSeek-V3技术报告1. 摘要2. 引言3. DeepSeek V3 架构3.1 基础架构

爱听歌的周童鞋

DeepSeek MLA(Multi-Head Latent Attention)算法浅析学习 DeepSeek 中的 MLA 模块，究极缝合怪，东抄抄西抄抄，主要 copy 自苏神的文章，仅供自己参考😄

我是有底线的