flashattention

27届大模型面试准备（五十九）：大模型推理引擎内核深度剖析——PagedAttention、调度器与显存管理前面（二十五）讲推理服务化与投机解码、（五十三）讲多模态服务化、（五十四）讲成本与吞吐调优，都偏「架构与成本」。本篇往内核里再钻一层：一个推理引擎（vLLM、TensorRT-LLM、SGLang 之类）到底怎么把一次请求变成显存里的 KV Cache、怎么调度 token、怎么不浪费显存。这是面试「部署优化」这条线的硬核题，也是华为多模态 LLM 岗现场写代码/画架构高频考点。

27届大模型面试准备（二十九）：长文本推理与高效注意力——FlashAttention、稀疏/线性注意力与推理侧长度外推前面我们讲过长上下文的"位置编码与长度外推"（A24，那是训练侧怎么让模型学会更长位置），也讲过推理服务化与投机解码（A25）。但把模型真正跑在 128K、甚至 1M token 的上下文上，最大的拦路虎不是"模型理不理解长序列"，而是"注意力算不动、显存放不下、钱烧不起"。这一篇把视角切到推理工程：为什么注意力是长文本的成本黑洞，FlashAttention 凭什么把显存从 O(n²) 打到接近 O(n)，稀疏与线性注意力又是怎么在效果和成本之间找平衡，以及当你手里只有一个短上下文模型时，推理侧能做哪些

FlashAttention、PagedAttention两代注意力算法，改写大模型推理生态详解.186大模型能够实现流畅对话、长文本理解、多轮交互应答，核心底层完全依靠自注意力机制。但早期原生Transformer注意力，天生带着算力与显存双重致命缺陷，序列长度一旦上涨，算力开销呈平方级暴涨，不仅推理速度极慢、显存占用失控，高并发多轮对话极易卡顿溢出，根本无法规模化商用落地。

爱听歌的周童鞋

斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Assignment 2: FlashAttention-2本篇文章记录 CS336 作业 Assignment 2: Systems 中的 FlashAttention-2 作业要求，仅供自己参考😄

一文了解 W8A8、W4A8、稀疏量化、FlashAttention-3、KV Cache 量化W8A8（Weight 8-bit / Activation 8-bit）量化的本质是：用 8-bit 整数近似表示 FP16/FP32 的模型权重与中间激活值，并在整数域完成 GEMM（GEneral Matrix Multiplication），最终在输出端做尺度还原。量化计算只是改变了数值 “表示形式”，没有改变模型定义的数值空间；尺度还原的作用，是在精度边界处将整数近似重新嵌回模型原始的浮点语义空间。

Spring AI 大模型工程核心：效率的极限博弈大模型工程实践，本质是算力、显存与通信的极限优化。其核心在于四大支柱：总结：现代大模型工程已进化为“算子+并行+调度+缓存”的综合体系，掌握这些核心技术，是构建高性能、低成本服务的关键。

爱听歌的周童鞋

斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Lecture 5: GPUs学习斯坦福的 CS336 课程，本篇文章记录课程第五讲：GPU，记录下个人学习笔记，仅供自己参考😄website：https://stanford-cs336.github.io/spring2025

FlashAttention（V2）深度解析：从原理到工程实现随着大模型参数规模的不断扩大和序列长度的增长，注意力机制的计算复杂度成为训练和推理的主要瓶颈。Flash Attention通过巧妙的内存管理和计算重排，在不改变数学语义的前提下大幅提升了注意力计算的效率。在Flash Attention V1的基础上，V2版本通过调整循环结构和优化并行策略，进一步提升了性能。

绕过 FlashAttention-2 限制：在 Turing 架构上使用 PyTorch 实现 FlashAttentionFlashAttention【github】系列，由斯坦福大学 AI 实验室的 Dao 等人提出，通过巧妙的 I/O 感知算法（I/O-aware algorithm）和自定义的 CUDA 内核（CUDA kernel）显著提升了 Transformer 模型中注意力机制的训练和推理速度，尤其是在长序列处理方面。

【大模型实战篇】部署GPT-OSS-120B踩得坑（vllm / ollama等推理框架）之前在《gpt-oss系列模型初探》介绍了GPT-OSS的相关内容，接下来个人尝试做了部署和测试，也遇到一些坑。

从零开始理解FlashAttention：算法细节图解“学习不是装满一桶水，而是点燃一把火。” —— 叶芝我的博客主页： https://lizheng.blog.csdn.net

【多模态大模型】LLaMA in arXiv 2023论文： LLaMA: Open and Efficient Foundation Language Models 作者： Meta AI 代码： LLaMA 特点：该方法在Transformer的基础上增加了Pre-normalization (RMSNorm)、SwiGLU activation function (SwiGLU)、Rotary Embeddings (RoPE)、FlashAttention。

我是有底线的