vllm

爱笑的k115 天前
开发语言·python·vllm
nano-vllm 源码剖析:千行 Python 手写离线推理引擎的调度、显存与并行时序nano-vllm 是一个用大约一千多行 Python 从零写的离线推理库,接口接近 vLLM 的 LLM.generate。它只在本进程里把一批提示跑完,不提供 HTTP 服务。模型实现目前只有 Qwen3,权重从本地目录的 *.safetensors 加载。
code2cat9 天前
缓存·大语言模型·vllm
【随笔】推理准入控制:请求进来之前,先给KV缓存留出位置KV缓存量化可以减少单个Token的存储成本,服务仍然需要决定同时接纳多少请求。十个短问答与十份长文档占用的资源完全不同;只限制HTTP连接数,很难解释为什么相同并发有时顺畅、有时排队很久。今天把输入长度、输出预算和缓存容量放进同一本账,写一个可运行的准入模型,再区分它与推理引擎的调度参数。
code2cat14 天前
java·人工智能·后端·大语言模型·vllm
【随笔】连续批处理:长短请求怎样在迭代之间补位昨天的推测解码减少同一请求逐Token调用目标模型的轮次。今天换一个视角:服务里同时有许多请求,有的只生成一句话,有的还在写长文。连续批处理在每轮迭代边界更新请求集合,让已完成请求退出,让等待请求补入可用位置。
一枕槐安48714 天前
fastapi·qwen·vllm·流式推理·openai兼容api·awq量化
Qwen 通义千问本地部署与推理服务封装摘要 解决 Qwen 模型本地部署中推理吞吐不足、服务层缺失鉴权与并发控制的问题。适用于需在内网环境提供 OpenAI 兼容接口的后端与算法工程师。读完可获得基于 vLLM + FastAPI 从模型加载、量化选型到流式代理的生产级封装链路。
mumu15715 天前
人工智能·python·大语言模型·agent·vllm
快速上手大模型推理vllmLiteMoE 是一个小型 MoE 推理引擎,约 1600 行 Python。它负责 forward、KV 和生成循环,专家、Attention 和路由算子直接调用 vLLM。
code2cat16 天前
人工智能·python·缓存·vllm
【随笔】vLLM前缀缓存:相同的开头怎样少算一次同一份长文档被连续提问十次,模型是否必须把文档重新计算十遍?在LLM推理服务中,前缀缓存能够复用相同开头对应的KV状态,让后续请求少做重复的提示词计算。
JAI科研20 天前
人工智能·语言模型·自然语言处理·chatgpt·transformer·vllm·sglang
把一个 Qwen3.8的聊天模型改造成 JEV 决策模型普通大模型回答"这道题选 A 还是 B"的方式是生成文字:吐出 “答案是 B”,你再拿正则去解析。慢、会格式错、而且它写出来的"我有 80% 把握"是编的,不是真实置信度。
谢白羽21 天前
运维·人工智能·缓存·kubernetes·vllm·sglang·vllm-omni
从传统运维到 AI Infra: K8s 上调度 100 张 GPU踩坑笔记在传统的微服务架构里,CPU 和内存是弹性且可以任意细分的。你给一个 Web Pod 分配 cpu: 500m、memory: 1Gi,K8s 的 Cgroups 限制得明明白白。
Hrain-AI22 天前
vllm
企业本地推理引擎选型实战:Ollama、vLLM 与 MLX 怎么挑摘要:本文面向要把大模型搬回企业内网或自有机器的架构师与 SRE,从「显存门槛 / 吞吐特性 / 微调能力 / 跨平台」四个维度,对 Ollama、llama.cpp、vLLM、MLX、TensorRT-LLM、ExLlamaV2 六款 2026 主流本地推理引擎做横向对比,给出按场景的选型清单与避坑指南。附显存测算脚本与公开基准数据,帮你把"24GB 卡该跑什么、什么时候该上 vLLM、Mac 能不能顶上"一次算清。
摸鱼仙人~22 天前
人工智能·pytorch·vllm
从 AI 应用开发到 GPU 计算软件:一份完整的 GPGPU、PyTorch、vLLM 与 AI Infra 学习路线最近在研究 AI Infra、大模型推理优化和 GPU 计算软件工程,系统梳理了一些值得学习的技术资料、开源项目以及实践方向。
程序猿编码23 天前
c++·学习·语言模型·llama·vllm·大模型推理
不依赖 vLLM/llama.cpp:一套面向学习的 DeepSeek-R1 CUDA 推理实现如果你是一个对大模型推理底层原理感兴趣的后端工程师,大概率有过这样的困惑:用 vLLM 部署很快,用 llama.cpp 量化推理也很方便,但你对"每一个 token 到底在 GPU 上经历了什么"依然是一头雾水。框架帮你封装了太多东西——算子怎么调度、内存怎么管理、kernel 怎么 launch,这些全被藏在 C++ 模板和 CUDA 核函数里面,你只能看到输入输出,看不到中间过程。
缘友一世23 天前
ubuntu·vllm·glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[10]:CUDA 图捕获与编译开关本篇是讲两件在部署阶段最容易被"想当然"搞错的事:CUDA 图捕获列表的单位到底是什么、inductor 编译到底什么时候值得开。前者的一个错误写法让高并发吞吐直接腰斩(修正后 conc=16 +70%),后者的答案则取决于有没有 MTP。
缘友一世23 天前
ubuntu·vllm·glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[15]:抗退化采样与思考档模型在跑、日志全绿、接口全是 200,输出却是复读、多语种、几千字打转——根本原因是三条独立根因的叠加:MRV2 投机采样路径、服务端缺省落在病态采样点、思考档缺省为 Max。三条修完,agent 档退化从 15% 收到 0/200。
Soonyang Zhang25 天前
仿真·1024程序员节·vllm·推理框架·sglang
aisimulate分析(一)——算子workload建模AISimulate predicts LLM serving behavior and searches for strong deployment configurations offline, without bringing up a GPU serving cluster.  AISimulate is the successor to the AIConfigurator (AIC) repository.
缘友一世25 天前
ubuntu·vllm·glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[9]:MTP 调参(num_speculative_tokens 的选择及其负载相关性)本文只讨论一个主题:MTP(Multi-Token Prediction)投机解码中,真正可调的参数是哪一个、该取什么值,以及为什么"调好了"这个结论本身依赖负载形态。MTP 头的补齐过程见本系列关于 MTP 落地的文章,此处不再展开。
喜欢打篮球的普通人25 天前
vllm
AI 编译器的五大挑战与未来:从 TVM、XLA 到自动并行上一篇我们拆开了 AI 编译器的通用架构:前端图优化 + 后端算子优化 + 两级 IR。这篇换个视角——看真实产品长什么样,以及这套架构在 2024 年之后卡在哪、往哪走。
GPUStack1 个月前
llm·vllm·大模型推理·deepseek·gpustack·deepinfer
DeepInfer 能否跑赢 vLLM?GPUStack 八卡 B200 实测结果来了高效推理技术的价值,需要通过实际部署才能进入业务。DeepSeek 开源 DeepInfer,为开发者提供了探索其推理技术的入口。对于希望在自有基础设施上运行模型的团队,接下来还需要解决一系列工程问题:如何提供 API、如何配置运行环境、如何管理 GPU,以及如何评估它在实际工作负载中的表现。
缘友一世1 个月前
ubuntu·vllm·glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[6]:加载链路与磁盘规划本篇讨论权重从 NFS 进入显存这条链路的实测账,以及由它推出的磁盘规划、内存护栏与 I/O 纪律。核心结论:加载耗时由 NFS 带宽×页缓存命中率 两个变量决定,带宽下限约 375 s,页缓存可以从 427 s 拉到 1802 s(4.2×)。
缘友一世1 个月前
ubuntu·vllm·glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[5]:卸载换显存的边界一句话:本篇回答「能不能把权重或 KV 卸到主机内存,换出更多显存来做大上下文」,权重卸载不可行、KV 卸载有条件可行但换不到上下文、DCP/PCP 搁置,真正管用的只有 PP + fp8 KV + 稀疏注意力。
江厌011 个月前
github·模型部署·vllm
两张卡部署两个模型:物理分卡、MIG、张量并行的选择与可复现配置「两张显卡部署两个模型」有两种完全不同的需求:两个模型各占一张卡(服务隔离),或一个模型切到两张卡(显存扩容)。前者用两个独立推理实例分别绑卡,后者用张量并行。本文给出三条路线的选择树、可直接使用的 vLLM + Nginx 配置、MIG 的硬约束,以及一套隔离性验收脚本。