kvcache

DeepSeek-V4.1-Flash 拆解：1M 上下文，KV cache 只剩 1/4原文：MarkTechPost - 《DeepSeek AI Released DeepSeek-V4.1-Flash with 1M Context, FP4 KV Cache, and Cross-Layer Attention Reuse》（https://www.marktechpost.com/2026/09/10/deepseek-ai-released-deepseek-v4-1-flash-with-1m-context-fp4-kv-cache-and-cross-layer-atten

NVIDIA BlueField-3/4 DPU在AI集群的RDMA卸载与增强：芯片设计验证级深度剖析摘要：本文深度剖析NVIDIA BlueField-3/4 DPU在AI集群中的RDMA卸载与硬件加速机制。从RTL级数据通路、寄存器定义到KV Cache卸载与NCCL集合通信的硬件映射，全面拆解DPU如何突破内存墙与通信墙，为资深芯片与网络架构工程师提供芯片设计验证级的实战指南。

DeepSeek V4-Pro 推理数据流——三层注意力 + Hyper-Connections 详解副标题： DeepSeek V4-Pro（1.6T / 49B 激活）是当前最复杂的开源 MoE 架构之一——三层混合注意力（SWA + CSA + HCA）、Hyper-Connections 替代残差连接、Lightning Indexer、FP4 专家……本文从 config.json 出发，逐层拆解 V4-Pro 的推理数据流。

KV Cache 与 PagedAttention 详解:理论推导 + RTX 3090 实测数据前两篇文章分别建立了 BF16 基线和 AWQ INT4 量化实验，我们发现了一个有趣的现象：AWQ 量化把模型权重从 14 GB 压缩到 4 GB，TPOT 降了 65%，但吞吐却翻了一倍多——这个倍数远超 TPOT 降幅能解释的范围。

大模型推理引擎vLLM(25): 从--kv-cache-dtype fp8_e5m2时gsm8k答非所问的bug梳理kv cache相应代码片段目录1 E4M3 E5M2的问题2 BF16 FP162.1 fp16（IEEE half，半精度）2.2 bf16（bfloat16，Brain Float）

理解大模型API缓存机制：从Claude Code的缓存失效到DeepSeek的硬盘缓存最近使用Claude Code的同学可能会发现，升级到较新版本（2.1.37+）后，缓存的命中率明显下降，推理速度变慢，Token消耗也增加了。如果你查看源码或相关讨论，会注意到一个环境变量：CLAUDE_CODE_ATTRIBUTION_HEADER="0"。把它设置之后，缓存就恢复正常了。

大模型API缓存的底层原理：从显存到网关最近和一位朋友聊到API的缓存，他提出了一个很敏锐的问题：“其实tokens缓存都是假的吧？LLM本身就是无状态的。这种缓存只是一种计费规则。实际上跟上下文显存空间有关，你来用，他那边就会给你开一个显存池，就是为了反复压缩切换。不可能你现在来一次，等下不来了，他还把你这份留着来压缩显存，开销太大了。”

从零理解 KV Cache：大语言模型推理加速的核心机制在当前大语言模型（Large Language Models, LLMs）的工程实践中，如何提升推理效率已成为一个核心课题。尽管训练阶段决定了模型的能力上限，但真正影响用户体验和部署成本的，往往是推理阶段的响应速度与资源消耗。在众多优化手段中，KV Cache（键值缓存）被广泛认为是实现高效文本生成的关键技术之一。

LeetCode - Google 大模型校招10题第1天 Attention 汇总 (3题)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/145368666

我是有底线的