推理优化

Web3&Basketball

Agent外传审计实战：3类失准事故拦截脚本上个月，OpenAI 公开披露了此前未披露的 6 起模型异常行为，并配套发布了一套上报与披露框架。6 起里面有 3 起，机制上可以直接落成代码去检测：

Web3&Basketball

ChatGPT 路由自证：跨客户端实测对照你在界面上选中的那个模型名，未必就是真正给你算的那一个。这不是猜测。OpenAI 开发者社区从 9 月初起有多起可复现的报告：请求侧的 metadata 明确写着 model_slug: gpt-5-6-thinking、thinking_effort: extended，而同一次请求最终的服务端 metadata 报的是 model_slug: gpt-5-5-mini，并伴随 did_auto_switch_to_reasoning: false、is_autoswitcher_enabled: f

GPT-5.5 自举推理栈拆解：Codex 改写负载均衡启发式，同硬件吞吐提升 20% 的技术细节GPT-5.5 发布说明里最容易被跳过的一句话，不是跑分，而是「模型帮助改进了服务它自己的基础设施」。

小白跃升坊

大模型推理入门：从原理到实践写给谁看的？听说过 ChatGPT、DeepSeek、通义千问，想搞明白"大模型到底是怎么回答问题的"、想了解本地部署和推理框架区别的同学。不要求你有 AI 背景，我尽量用人话讲清楚。

Web3&Basketball

LLM 峰谷定价怎么吃满：一个能对账的错峰调度器价格表变了，很多人的批处理任务还在按老姿势跑。同一份代码、同一个模型，账单能差一倍，差别只在发请求的时刻。为什么错峰这件事一直没被认真做？因为它看起来太简单了，简单到没人愿意为它写调度器。

5 秒视频 1.65 秒生成：英伟达开源的这套推理栈，把「实时视频生成」钉进了现实💡 一句话总结：NVIDIA Research 开源了 Sol-H3——针对 MiniMax-H3 视频模型的端到端推理加速栈，单台 8 卡 B300 上 5 秒带立体声的 1344×768 视频只要 1.653 秒生成，比播放还快。加速是「少步采样 + 免训练注意力稀疏 + 一整套系统优化」三层叠加，代码全开源；「边生成边看」从 PPT 叙事变成了可复现的工程事实。

大鹏的NLP博客

ONNX Runtime CUDA 推理优化实战：破解 C++ 比 Python 慢 28 倍的假象在深度学习模型部署落地过程中，工程师常会遇到“推理速度不达预期”的问题。面对性能瓶颈，常见的直觉是盲目调整线程数、频繁开关各种硬件选项，甚至怀疑 C++ 包装层或框架本身的性能。

AI大佬的小弟

大模型名词精讲21：投机解码（Speculative Decoding）上一篇我们聊了模型量化，把模型从"巨无霸"压成了"小钢炮"。但即便模型压缩了，推理时还是一个字一个字地生成——每次生成都要跑一遍完整的70B参数，一个字都跑不掉。有没有办法让大模型"少干点活"？

27届大模型面试准备（二十九）：长文本推理与高效注意力——FlashAttention、稀疏/线性注意力与推理侧长度外推前面我们讲过长上下文的"位置编码与长度外推"（A24，那是训练侧怎么让模型学会更长位置），也讲过推理服务化与投机解码（A25）。但把模型真正跑在 128K、甚至 1M token 的上下文上，最大的拦路虎不是"模型理不理解长序列"，而是"注意力算不动、显存放不下、钱烧不起"。这一篇把视角切到推理工程：为什么注意力是长文本的成本黑洞，FlashAttention 凭什么把显存从 O(n²) 打到接近 O(n)，稀疏与线性注意力又是怎么在效果和成本之间找平衡，以及当你手里只有一个短上下文模型时，推理侧能做哪些

紫东太初 GMC 核心集剪枝拆解：少 80% Token 还满血，多模态视觉 Token 冗余有了新解法多模态大模型这几年越跑越快，但有一笔账始终绕不开：图像进入模型的那一刻，就被拆成了成百上千个视觉 Token。一张高分辨率图片经过视觉编码器，往往要吐出上千个离散表示，这些表示要和文字一起进入解码器参与每一层注意力计算。Token 越多，前向计算越重，显存占用越高，推理时延越长。视觉 Token 的冗余，已经成为多模态模型规模化落地最扎眼的瓶颈之一。

长输入短输出场景下的 SGLang 推理性能实测前缀缓存、PD 分离配比与参数调优我们产线上的推理请求,几乎是清一色的"长输入、短输出":几万 token 的资料或上下文喂进去,模型只吐回几百 token 的答案。RAG、长文档问答、代码库分析,本质上都是这个形状。

人工智能【第55篇】大模型推理优化：vLLM与推理加速技术作者的话：随着大语言模型的规模不断增长，推理成本已成为AI应用落地的关键瓶颈。一个70B参数的模型，单次推理可能需要数GB显存和数秒延迟。vLLM等推理引擎通过PagedAttention、连续批处理等创新技术，将吞吐量提升了数十倍。本文将深入解析大模型推理优化的核心技术，并带你完成vLLM的实战部署！

《VLA 系列》realtime-vla | 论文解读加速推理 30Hz+本文分析 realtime-vla，在单张消费级 RTX 4090 GPU 上的实时推理，达成 30Hz 图像推理速率、最高 480Hz 轨迹控制频率。

【LLM】DeepSeek-V4模型架构和训练流程【ds v4】混合专家（Mixture-of-Experts, MoE）语言模型：DeepSeek-V4-Pro（总参数量 1.6T，激活参数量 49B）和 DeepSeek-V4-Flash（总参数量 284B，激活参数量 13B），二者均支持百万 Token 的上下文长度。采用 MIT 许可证。

不爱说话的我

SGLang吞吐量提升50%？GPU算力适配优化实战分析你有没有遇到过这种情况？好不容易把一个几十亿参数的大模型部署上线，结果发现并发一高，响应就慢得像蜗牛，GPU算力明明没用满，但吞吐量就是上不去。更头疼的是，很多业务场景不只是简单的问答，比如多轮对话、任务规划、生成结构化数据，这些复杂逻辑写起来麻烦，跑起来效率还低。

实测SGLang的RadixAttention技术，缓存效率飙升SGLang不是又一个LLM推理框架的简单复刻，而是一次针对真实部署瓶颈的精准手术。当多数框架还在优化单请求延迟时，SGLang把刀锋对准了更隐蔽也更致命的问题：KV缓存的重复计算与内存浪费。尤其在多轮对话、批量API调用、结构化输出等高频场景中，传统注意力机制像一辆不断空转的发动机——算力在反复咀嚼相同的历史token，GPU显存被冗余缓存填满，吞吐量卡在瓶颈线上纹丝不动。

大鹏的NLP博客

ONNX Runtime GenAI C++ GPU 推理完整指南在使用 ONNX Runtime GenAI v0.12.0 进行 C++ GPU 推理时，遇到了多个挑战：

DeepSeek时代的Large-scale LLM推理2025年底DeepSeek V3发布炸场，几乎为业界之后的LLM优化方向定了调，尤其是大规模推理优化方面。去年快年底时对LLM的推理优化技术做过一个简单的总结：《LLM时代中的AI推理优化》，现在看来已有很多变化。在DeepSeek V3问世快一年之际，这里简单整理总结一下业界与之相关的推理优化技术。

实战DeepSeek-VL2：实现图片内容理解与自动文案生成的完整流程目录摘要1 技术原理与架构设计1.1 DeepSeek-VL2模型架构深度解析1.2 视觉-语言对齐机制

九章云极AladdinEdu

大模型推理服务优化：vLLM的PagedAttention与连续批处理实现大型语言模型（LLM）推理面临两大核心矛盾：计算密度高（单次推理需数十亿次浮点运算）与内存消耗大。以LLaMA-13B为例，仅KV缓存（Key-Value Cache）存储单个序列就可能占用1.7GB内存，而传统推理系统（如HuggingFace Transformers、FasterTransformer）由于固定内存预分配策略，导致60%-80%的内存因碎片化和过度保留而被浪费。