llm

合天网安实验室

从压缩到泄露：KV Cache Compression 的选择性失忆与系统提示词风险前面已经写过三篇跟 AI Cache 安全有关的文章，第一篇是 KV Cache，主要介绍了缓存命中时间侧信道、跨会话错误复用，以及为什么本来只是用来加速推理的缓存，会变成信息泄露的入口，详见www.yijinglab.com/specialized…

程序猿编码

解决 LLM 算力浪费，一套统一 KV 管理层实现缓存复用大模型推理服务中，KV Cache 的重复计算正在成为不可忽视的成本瓶颈。Agent 工作流反复检索相同上下文、多轮对话不断重放历史轮次、多模态应用反复处理同一批视觉特征——这些场景下，如果每次都要重新计算 KV Cache，算力浪费惊人。

【Agent & RSI】OpenCode离线部署：终端版 & Web 版参考资料OpenCode终端版 - 离线部署完整手册OpenCode 模型配置教程：接入第三方 API 与本地模型-腾讯云开发者社区-腾讯云

程序猿编码

RK3588 NPU LLM 推理引擎：自研底层算子，性能碾压原厂 SDK在边缘计算与AIoT领域，瑞芯微RK3588凭借其6TOPS算力的NPU和统一内存架构，成为了众多开发者眼中的"边缘AI神U"。然而，长期以来，在该平台上运行大语言模型（LLM）往往受限于厂商闭源SDK的性能瓶颈与功能限制。这个推理引擎的出现，正是为了解决这一核心痛点。

多想 2000 个 token 只涨 1.4 个点：LLM 写代码的「思考开销」终于有人算账了💡 一句话总结：一项 866 任务 × 5 模型 × 5 重复的受控研究发现——推理模式写代码「不一定值」：有的基准白烧 2000+ 思考 token 换不来显著提升，轨迹更长不等于更准，而且已生成的思考轨迹砍掉一半再写答案，正确率几乎不掉。做推理服务、agent 管线、模型评测的人都该看看这套算法。

实验报告分析评价文档——《第四次阶段汇报：模型产物的仓库瘦身、云端部署与评测链路打通》评析实验报告分析评价文档——《第四次阶段汇报：模型产物的仓库瘦身、云端部署与评测链路打通》评析评析对象16 页阶段实验报告

全文 - LLaMA v2 - Llama 2: Open Foundation and Fine-Tuned Chat Models这篇论文介绍的是 Llama 2。它的核心并不是重新发明 Transformer，而是将 Llama 1 的 Decoder-only、Pre-RMSNorm、RoPE、SwiGLU 架构延续下来，主要把上下文从 2K 扩展到 4K，并在较大模型上引入 GQA。

学IT的周星星

本地部署与开源模型：不想花钱怎么办📚 系列：《Agent 从入门到上手》· 30 天连载 · 第 21 篇（框架篇收官） 🎯 本篇目标：把 Day20 留下的那个「模型下拉框」也收回来 —— 在自己电脑上跑开源模型，搞懂显存怎么算、量化是什么、Ollama 和 vLLM 差在哪、以及本地小模型跑 Agent 任务到底会掉多少能力 ⏱️ 阅读时长：约 25 分钟 🧪 特别说明：本篇所有本地推理结论来自真机实测 —— 一台 RTX 5060 Laptop（8 GB 显存）+ Ollama 0.32.5，三个真实模型（qwen2.5:1.

美团 LongCat-2.5 拆解：1.6T 参数只激活 3%，1M 上下文卖 0.3 美元，Agent 模型的账变了一个 1.6 万亿参数的模型，每处理一个 token 只唤醒其中约 48B，也就是 3%。美团在 11 月 1 日把 LongCat-2.5 正式版放了出来，输入定价 0.3 美元每百万 token，缓存命中只要 0.006 美元。这个价格在同级模型里直接砍到了脚踝，而且它还带着 100 万 token 的原生上下文和视觉理解能力。外卖公司做模型已经不是新闻，但这次美团瞄准的不是聊天，是 Agent 干活：终端命令、浏览器操作、GUI 界面、表格和设计工具，全是长周期任务里最磨人的场景。这篇文章把发布内容

吴凡wudianmei

从 0 搭一个 AI Agent（三）：SSE 流式输出，让 AI 边想边说前两篇讲了 Agent 的循环和 LangGraph 编排。这一篇聊一个直接影响用户体验的东西——流式输出。没有它，你的 Agent 在用户眼里就是「转圈 5 秒，然后蹦一大段字」的半成品。

Python 中使用 SSE 实现大模型流式输出聊天页面里的回答常常是一点点出现的，不用等整段文字生成完。SSE 就能实现这样的效果。下面从已有的 agent.execute_stream() 出发，讲清后端如何接收片段、包装并返回内容，再配上一个简单网页。

AI 私有化实战：多模态本地化·视觉与音频怎么装下这是《AI 私有化实战：把模型跑在你自己的机器上》第 10 讲。前九讲的输入输出都是文本。真实系统里还有截图、语音、图表、发票照片——「多模态」就是给本地栈补上这一块。

SGLang 中 AMD GPU 内核源文件后缀分析：.cu vs .hip注意：

sgl-kernel 项目的演进：不同时间点的角色与去向sgl-kernel 经历了独立顶层包 → 并入 sglang.kernels.aot → 成为统一 kernel 命名空间中的一个后端的演进。它的源码位置、包名、与主 sglang 的耦合方式都发生了变化，但核心使命——为 SGLang 提供 AOT 编译的自定义 CUDA/HIP 算子——始终未变。

6篇RAG核心论文的工程启示：Vector + Graph + Agent路由混合架构实战前两天站内那篇《我把 22 篇 RAG 论文喂给了 RAG》拿了 4.4 万阅读——形式很聪明，但它解决的是「论文太多读不完」。本文解决另一个问题：读完了怎么落地。我们从六篇核心论文里各提炼一条工程启示，拼成一个可以直接抄的混合架构，附可复现代码。与前作是互补关系：那边做综述导航，这边做工程实现。

沛东的认知和实践

当 RAG 开始“要求找全”：一次 Agentic RAG 边界探索与 LLM Wiki 转向30 秒判断：如果你也遇到“检索结果看起来都相关，但关键子主题总是漏掉”，这篇文章的价值是两个：我们替你系统试过了提示词、查询展开、facet、审计、reranker 和章节路由，并标明各自为什么不够；同时用近期论文说明，这不是单靠把项目参数再调一调就能解决的问题。

《Attention Is All You Need》的 Encoder–Decoder Transformer 一次完整训练下面按 2017 年原始论文《Attention Is All You Need》的 Encoder–Decoder Transformer，整理一次完整训练过程。重点是：训练时使用 Teacher Forcing，并借助因果掩码并行计算所有目标位置，不像推理那样逐个生成 token。

自蒸馏也讲究因材施教：让每个 token 自己挑老师，数学推理白捡 5.9 分做 LLM 后训练的都知道 OPSD（在线自蒸馏）香：不用奖励模型、信号稠密。但它有个老毛病——老师看了完整参考答案后分布过尖，监督信号跟学生的学习节奏对不上。这篇论文的解法很直白：别让整条回答共用一位老师，搭个 7 人候选池，让每个 token 自己挑。Qwen3-1.7B 数学推理平均分直接从 51.1 涨到 57.0（+5.9），代码已开源。

同样的模型，为什么本地和云 API 差别那么大：量化精度、聊天模板与采样参数的三大元凶核心结论：同一个模型，本地跑和云 API 调用效果天差地别，多半不是模型不行，而是三件最容易被忽略的事没对齐——本地为了省显存做了量化（int4 精度损失是头号元凶）、聊天模板用错导致模型把对话当成一坨文本、采样参数不同让输出气质完全不同。把这三层对齐，差别立刻缩小大半。