vllm

从传统运维到 AI Infra: K8s 上调度 100 张 GPU踩坑笔记在传统的微服务架构里，CPU 和内存是弹性且可以任意细分的。你给一个 Web Pod 分配 cpu: 500m、memory: 1Gi，K8s 的 Cgroups 限制得明明白白。

企业本地推理引擎选型实战：Ollama、vLLM 与 MLX 怎么挑摘要：本文面向要把大模型搬回企业内网或自有机器的架构师与 SRE，从「显存门槛 / 吞吐特性 / 微调能力 / 跨平台」四个维度，对 Ollama、llama.cpp、vLLM、MLX、TensorRT-LLM、ExLlamaV2 六款 2026 主流本地推理引擎做横向对比，给出按场景的选型清单与避坑指南。附显存测算脚本与公开基准数据，帮你把"24GB 卡该跑什么、什么时候该上 vLLM、Mac 能不能顶上"一次算清。

从 AI 应用开发到 GPU 计算软件：一份完整的 GPGPU、PyTorch、vLLM 与 AI Infra 学习路线最近在研究 AI Infra、大模型推理优化和 GPU 计算软件工程，系统梳理了一些值得学习的技术资料、开源项目以及实践方向。

程序猿编码

不依赖 vLLM/llama.cpp：一套面向学习的 DeepSeek-R1 CUDA 推理实现如果你是一个对大模型推理底层原理感兴趣的后端工程师，大概率有过这样的困惑：用 vLLM 部署很快，用 llama.cpp 量化推理也很方便，但你对"每一个 token 到底在 GPU 上经历了什么"依然是一头雾水。框架帮你封装了太多东西——算子怎么调度、内存怎么管理、kernel 怎么 launch，这些全被藏在 C++ 模板和 CUDA 核函数里面，你只能看到输入输出，看不到中间过程。

GLM5.3 CyberSec w4A16本地部署[10]：CUDA 图捕获与编译开关本篇是讲两件在部署阶段最容易被"想当然"搞错的事：CUDA 图捕获列表的单位到底是什么、inductor 编译到底什么时候值得开。前者的一个错误写法让高并发吞吐直接腰斩（修正后 conc=16 +70%），后者的答案则取决于有没有 MTP。

GLM5.3 CyberSec w4A16本地部署[15]：抗退化采样与思考档模型在跑、日志全绿、接口全是 200，输出却是复读、多语种、几千字打转——根本原因是三条独立根因的叠加：MRV2 投机采样路径、服务端缺省落在病态采样点、思考档缺省为 Max。三条修完，agent 档退化从 15% 收到 0/200。

aisimulate分析(一)——算子workload建模AISimulate predicts LLM serving behavior and searches for strong deployment configurations offline, without bringing up a GPU serving cluster. AISimulate is the successor to the AIConfigurator (AIC) repository.

GLM5.3 CyberSec w4A16本地部署[9]：MTP 调参(num_speculative_tokens 的选择及其负载相关性)本文只讨论一个主题：MTP（Multi-Token Prediction）投机解码中，真正可调的参数是哪一个、该取什么值，以及为什么"调好了"这个结论本身依赖负载形态。MTP 头的补齐过程见本系列关于 MTP 落地的文章，此处不再展开。

喜欢打篮球的普通人

AI 编译器的五大挑战与未来：从 TVM、XLA 到自动并行上一篇我们拆开了 AI 编译器的通用架构：前端图优化 + 后端算子优化 + 两级 IR。这篇换个视角——看真实产品长什么样，以及这套架构在 2024 年之后卡在哪、往哪走。

DeepInfer 能否跑赢 vLLM？GPUStack 八卡 B200 实测结果来了高效推理技术的价值，需要通过实际部署才能进入业务。DeepSeek 开源 DeepInfer，为开发者提供了探索其推理技术的入口。对于希望在自有基础设施上运行模型的团队，接下来还需要解决一系列工程问题：如何提供 API、如何配置运行环境、如何管理 GPU，以及如何评估它在实际工作负载中的表现。

GLM5.3 CyberSec w4A16本地部署[6]：加载链路与磁盘规划本篇讨论权重从 NFS 进入显存这条链路的实测账，以及由它推出的磁盘规划、内存护栏与 I/O 纪律。核心结论：加载耗时由 NFS 带宽×页缓存命中率两个变量决定，带宽下限约 375 s，页缓存可以从 427 s 拉到 1802 s（4.2×）。

GLM5.3 CyberSec w4A16本地部署[5]：卸载换显存的边界一句话：本篇回答「能不能把权重或 KV 卸到主机内存，换出更多显存来做大上下文」，权重卸载不可行、KV 卸载有条件可行但换不到上下文、DCP/PCP 搁置，真正管用的只有 PP + fp8 KV + 稀疏注意力。

两张卡部署两个模型：物理分卡、MIG、张量并行的选择与可复现配置「两张显卡部署两个模型」有两种完全不同的需求：两个模型各占一张卡（服务隔离），或一个模型切到两张卡（显存扩容）。前者用两个独立推理实例分别绑卡，后者用张量并行。本文给出三条路线的选择树、可直接使用的 vLLM + Nginx 配置、MIG 的硬约束，以及一套隔离性验收脚本。

小易老师AI实战

VLLM部署Qwen大模型性能压测实践：自研Python压测脚本+指标解读本文基于vLLM推理框架部署Qwen3.5-4B大模型，采用Python线程池实现并发压测，完整采集TTFT、P95首token延迟、QPS、Token吞吐等核心推理指标，讲解压测脚本实现原理、指标含义与测试结果分析，适合大模型私有化部署、推理性能调优场景参考。压测脚本可直接复用，开箱即用。

GLM5.3 CyberSec w4A16本地部署[2]：并行策略与 PP 切分本篇讲并行策略怎么选：MLA 模型上 TP 换不来 KV 容量、PP 提升容量、PP_LAYER_PARTITION=41,37 层切分的来源，以及 DP/EP/DCP/PCP 不使用的原因。

Meta 开源 Muse Spark Open 之后：自建 Agent 推理栈先过权重许可、MoE 并行拓扑、上下文预算、工具解析器与安全后训练闸门2026 年 10 月 15 日，Meta 研究博客与 Hugging Face 同步宣布开源权重模型 Muse Spark Open：原生多模态稀疏 MoE，约 816B 总参数 / 约 42B 每 token 激活，推理上下文可达 100 万 token，面向编程与长程 Agent。权重可在 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden、Microsoft Foundry Models 等渠道获取；Day-0 已接入 vLLM，并

MCP 协议如何让大模型完成工具调用你在 MCP 客户端里已经能看到 tools/list 返回了四个工具，但把同一份 JSON Schema 发给大模型后，choices[0].message.tool_calls 却是 None。别急着换模型，问题多半不在模型本身，而在 tools 参数和提示词的衔接方式。这篇文章会用一个最小 Python 脚本跑通从工具 schema 到 tool_call 返回的完整路径，再逐步加上执行回传和排错方法。

VLLM部署大模型常用参数介绍vLLM 的参数非常多，而且会随版本变化。最稳妥的方式是：在部署机器上执行 vllm serve --help 看当前版本真实支持的参数。下面按生产部署常用维度整理一份，不是逐字枚举全部，但覆盖 vllm serve 核心参数。

吴佳浩 Alben

一文看懂大模型推理为什么需要多卡：从 TP、DP 到 Runtime 的完整演进作者：吴佳浩（Alben）并行度不是加速器，是分账方式：拆得越细，省下来的搬运越少，要付的通信账越多——所以「能不能拆」和「值不值得拆」，是两个问题。先摆一个现象：两张 RTX 5090 开 TP2，通常拿不到两倍，甚至可能更慢。这不是驱动没调好，也不是框架不行——它是整条推理栈的分账逻辑。