sglang

SGLang 的组成结构与基本工作原理SGLang 可以理解为两部分：用于编写复杂 LLM 程序的前端语言，以及负责高吞吐、低延迟推理的运行时 SRT（SGLang Runtime）。两者可以独立使用；现在大多数部署场景主要使用 SRT，通过 OpenAI 兼容接口提供模型服务，并不需要使用前端 DSL。

把一个 Qwen3.8的聊天模型改造成 JEV 决策模型普通大模型回答"这道题选 A 还是 B"的方式是生成文字：吐出 “答案是 B”，你再拿正则去解析。慢、会格式错、而且它写出来的"我有 80% 把握"是编的，不是真实置信度。

全文 - SGLang: Efficient Execution of Structured Language Model Programs单位： ¹ 斯坦福大学（Stanford University） ² 加州大学伯克利分校（UC Berkeley） ³ 上海交通大学（Shanghai Jiao Tong University） ⁴ 德州农工大学（Texas A&M University） ⁵ 独立研究员（Independent Researcher）

从传统运维到 AI Infra: K8s 上调度 100 张 GPU踩坑笔记在传统的微服务架构里，CPU 和内存是弹性且可以任意细分的。你给一个 Web Pod 分配 cpu: 500m、memory: 1Gi，K8s 的 Cgroups 限制得明明白白。

aisimulate分析(一)——算子workload建模AISimulate predicts LLM serving behavior and searches for strong deployment configurations offline, without bringing up a GPU serving cluster. AISimulate is the successor to the AIConfigurator (AIC) repository.

Meta 开源 Muse Spark Open 之后：自建 Agent 推理栈先过权重许可、MoE 并行拓扑、上下文预算、工具解析器与安全后训练闸门2026 年 10 月 15 日，Meta 研究博客与 Hugging Face 同步宣布开源权重模型 Muse Spark Open：原生多模态稀疏 MoE，约 816B 总参数 / 约 42B 每 token 激活，推理上下文可达 100 万 token，面向编程与长程 Agent。权重可在 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden、Microsoft Foundry Models 等渠道获取；Day-0 已接入 vLLM，并

SGLang 上手：重复的前缀只算一次每个请求都带同一段系统提示词，GPU 就把它重算一遍。SGLang 用基数树缓存 KV，让相同前缀只算一次，天然适合 Agent、多轮对话和结构化输出。本文讲清它是什么、现状如何、和 vLLM 怎么选，并给出从单机启动到前端语言的上手路径。

吴佳浩 Alben

一文看懂大模型推理为什么需要多卡：从 TP、DP 到 Runtime 的完整演进作者：吴佳浩（Alben）并行度不是加速器，是分账方式：拆得越细，省下来的搬运越少，要付的通信账越多——所以「能不能拆」和「值不值得拆」，是两个问题。先摆一个现象：两张 RTX 5090 开 TP2，通常拿不到两倍，甚至可能更慢。这不是驱动没调好，也不是框架不行——它是整条推理栈的分账逻辑。

吴佳浩 Alben

一文讲透推理引擎性能指标：TTFT、TPOT、KV命中率、并发，到底对应 vLLM / SGLang 的哪个参数？作者：吴佳浩Alben撰稿时间：2026.10.1更新时间：2026.10.7很多人在做推理压测时都会遇到一个尴尬：

爱听歌的周童鞋

Mini-SGLang 深度解读（上）前几期文章我们做了 nano-vllm 的深度解读分析，最近 Koala 博主又发布了 mini-sglang 的拆解视频，一起来学习下，记录下个人学习笔记，和大家一起分析交流 😄。

Είναι η κοπέλα

开源推理引擎怎么选：vLLM、SGLang、Ollama、llama.cpp 的机制与部署部署大模型，第一个要做的选择不是"用哪个模型"，是"用哪个推理引擎"。同一张卡、同一个模型，换个引擎，能扛的并发可能差好几倍——因为引擎决定了 KV Cache 怎么管、请求怎么排队。

对比DP8+EP与TP8在DS MoE部署性能MoE的Transformer层执行路径如下：上图是以DP8+EP部署模型的执行流程。一个token进入本地Attention层（完整att）计算后通过路由发送给激活专家所在卡（注意，未必在本地了）做GEMM，最后专家模块返回结果合并输出进入下一层。

slime 源码走读：SGLang-Native 推理架构解析（上）作者：昇腾实战派知识地图：https://blog.csdn.net/Lumos_Lovegood/article/details/161601003

赋创小助手

Qwen3.8-27B 本地推理 Benchmark 解析：llama.cpp、vLLM、SGLang 与长 Context 的性能差异本文基于一组 Qwen3.8-27B 多平台公开基准测试，重点讨论 Benchmark 方法、推理引擎、Context、MTP、TTFT / Prefill / Decode 的技术关系。不同平台的量化和运行配方并不完全一致，因此本文不把结果当作严格的硬件排名。

在4×B300用SGLang部署DeepSeek-V4.1 Flash优化实录本文提到的 DeepSeek-V4.1 的 Day 0 适配和 kernel 优化由 SGLang 团队共同完成。最终在 4×B300、TP4 / EP4 配置下，配合 DSpark 达到

MiniMax-H3 : 4卡 H20-3e一套权重部署实践/8卡H200部署优化实测H3-Base 将各模态编码后组织为统一序列，由同一个 Omni Transformer 联合预测视频与音频的潜在表示，再交给各自的 VAE 解码。文字和视觉条件会经过 H3-Encoder，视觉内容还通过 Visual VAE 表示，音频则由 Audio VAE 编码。这使参考素材的类型和长度都可能改变工作量；只验证文本生成，不能覆盖有声视频或混合参考的编码路径。

海光 K100AI DCU（8 卡）部署 Qwen3.8-27B 实践指南（SGLang 篇）上一篇：海光 K100AI DCU (8卡) 部署 Qwen3.8-27B 实践指南（VLLM篇）本文产生的背景是使用VLLM完成了Qwen3.8 27B模型推理，结果客户有一个硬指标，希望5个并发的时候TPOT（Time Per Output Token，单 Token 输出延迟）在20ms以内，也就是每个Token的产生时间要在20ms以内，虽然海光的社区给了SGLang推理Qwen3.8-27B的的参考，但是非流式输出中文乱码，TPOT达不到20ms，这篇文章是基于真实部署与压测过程的排坑记录，从容

SGLang的AWQ量化笔记AWQ 的完整生命周期可以分为两个阶段，它们之间的职责边界比较清晰。这种分工，是 AWQ 能够实现工程化部署的重要前提之一：