27届大模型面试准备（二十九）：长文本推理与高效注意力——FlashAttention、稀疏/线性注意力与推理侧长度外推前面我们讲过长上下文的"位置编码与长度外推"（A24，那是训练侧怎么让模型学会更长位置），也讲过推理服务化与投机解码（A25）。但把模型真正跑在 128K、甚至 1M token 的上下文上，最大的拦路虎不是"模型理不理解长序列"，而是"注意力算不动、显存放不下、钱烧不起"。这一篇把视角切到推理工程：为什么注意力是长文本的成本黑洞，FlashAttention 凭什么把显存从 O(n²) 打到接近 O(n)，稀疏与线性注意力又是怎么在效果和成本之间找平衡，以及当你手里只有一个短上下文模型时，推理侧能做哪些