技术栈
vllm
爱笑的k11
5 天前
开发语言
·
python
·
vllm
nano-vllm 源码剖析:千行 Python 手写离线推理引擎的调度、显存与并行时序
nano-vllm 是一个用大约一千多行 Python 从零写的离线推理库,接口接近 vLLM 的 LLM.generate。它只在本进程里把一批提示跑完,不提供 HTTP 服务。模型实现目前只有 Qwen3,权重从本地目录的 *.safetensors 加载。
code2cat
9 天前
缓存
·
大语言模型
·
vllm
【随笔】推理准入控制:请求进来之前,先给KV缓存留出位置
KV缓存量化可以减少单个Token的存储成本,服务仍然需要决定同时接纳多少请求。十个短问答与十份长文档占用的资源完全不同;只限制HTTP连接数,很难解释为什么相同并发有时顺畅、有时排队很久。今天把输入长度、输出预算和缓存容量放进同一本账,写一个可运行的准入模型,再区分它与推理引擎的调度参数。
code2cat
14 天前
java
·
人工智能
·
后端
·
大语言模型
·
vllm
【随笔】连续批处理:长短请求怎样在迭代之间补位
昨天的推测解码减少同一请求逐Token调用目标模型的轮次。今天换一个视角:服务里同时有许多请求,有的只生成一句话,有的还在写长文。连续批处理在每轮迭代边界更新请求集合,让已完成请求退出,让等待请求补入可用位置。
一枕槐安487
14 天前
fastapi
·
qwen
·
vllm
·
流式推理
·
openai兼容api
·
awq量化
Qwen 通义千问本地部署与推理服务封装
摘要 解决 Qwen 模型本地部署中推理吞吐不足、服务层缺失鉴权与并发控制的问题。适用于需在内网环境提供 OpenAI 兼容接口的后端与算法工程师。读完可获得基于 vLLM + FastAPI 从模型加载、量化选型到流式代理的生产级封装链路。
mumu157
15 天前
人工智能
·
python
·
大语言模型
·
agent
·
vllm
快速上手大模型推理vllm
LiteMoE 是一个小型 MoE 推理引擎,约 1600 行 Python。它负责 forward、KV 和生成循环,专家、Attention 和路由算子直接调用 vLLM。
code2cat
16 天前
人工智能
·
python
·
缓存
·
vllm
【随笔】vLLM前缀缓存:相同的开头怎样少算一次
同一份长文档被连续提问十次,模型是否必须把文档重新计算十遍?在LLM推理服务中,前缀缓存能够复用相同开头对应的KV状态,让后续请求少做重复的提示词计算。
JAI科研
20 天前
人工智能
·
语言模型
·
自然语言处理
·
chatgpt
·
transformer
·
vllm
·
sglang
把一个 Qwen3.8的聊天模型改造成 JEV 决策模型
普通大模型回答"这道题选 A 还是 B"的方式是生成文字:吐出 “答案是 B”,你再拿正则去解析。慢、会格式错、而且它写出来的"我有 80% 把握"是编的,不是真实置信度。
谢白羽
21 天前
运维
·
人工智能
·
缓存
·
kubernetes
·
vllm
·
sglang
·
vllm-omni
从传统运维到 AI Infra: K8s 上调度 100 张 GPU踩坑笔记
在传统的微服务架构里,CPU 和内存是弹性且可以任意细分的。你给一个 Web Pod 分配 cpu: 500m、memory: 1Gi,K8s 的 Cgroups 限制得明明白白。
Hrain-AI
22 天前
vllm
企业本地推理引擎选型实战:Ollama、vLLM 与 MLX 怎么挑
摘要:本文面向要把大模型搬回企业内网或自有机器的架构师与 SRE,从「显存门槛 / 吞吐特性 / 微调能力 / 跨平台」四个维度,对 Ollama、llama.cpp、vLLM、MLX、TensorRT-LLM、ExLlamaV2 六款 2026 主流本地推理引擎做横向对比,给出按场景的选型清单与避坑指南。附显存测算脚本与公开基准数据,帮你把"24GB 卡该跑什么、什么时候该上 vLLM、Mac 能不能顶上"一次算清。
摸鱼仙人~
22 天前
人工智能
·
pytorch
·
vllm
从 AI 应用开发到 GPU 计算软件:一份完整的 GPGPU、PyTorch、vLLM 与 AI Infra 学习路线
最近在研究 AI Infra、大模型推理优化和 GPU 计算软件工程,系统梳理了一些值得学习的技术资料、开源项目以及实践方向。
程序猿编码
23 天前
c++
·
学习
·
语言模型
·
llama
·
vllm
·
大模型推理
不依赖 vLLM/llama.cpp:一套面向学习的 DeepSeek-R1 CUDA 推理实现
如果你是一个对大模型推理底层原理感兴趣的后端工程师,大概率有过这样的困惑:用 vLLM 部署很快,用 llama.cpp 量化推理也很方便,但你对"每一个 token 到底在 GPU 上经历了什么"依然是一头雾水。框架帮你封装了太多东西——算子怎么调度、内存怎么管理、kernel 怎么 launch,这些全被藏在 C++ 模板和 CUDA 核函数里面,你只能看到输入输出,看不到中间过程。
缘友一世
23 天前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[10]:CUDA 图捕获与编译开关
本篇是讲两件在部署阶段最容易被"想当然"搞错的事:CUDA 图捕获列表的单位到底是什么、inductor 编译到底什么时候值得开。前者的一个错误写法让高并发吞吐直接腰斩(修正后 conc=16 +70%),后者的答案则取决于有没有 MTP。
缘友一世
23 天前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[15]:抗退化采样与思考档
模型在跑、日志全绿、接口全是 200,输出却是复读、多语种、几千字打转——根本原因是三条独立根因的叠加:MRV2 投机采样路径、服务端缺省落在病态采样点、思考档缺省为 Max。三条修完,agent 档退化从 15% 收到 0/200。
Soonyang Zhang
25 天前
仿真
·
1024程序员节
·
vllm
·
推理框架
·
sglang
aisimulate分析(一)——算子workload建模
AISimulate predicts LLM serving behavior and searches for strong deployment configurations offline, without bringing up a GPU serving cluster. AISimulate is the successor to the AIConfigurator (AIC) repository.
缘友一世
25 天前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[9]:MTP 调参(num_speculative_tokens 的选择及其负载相关性)
本文只讨论一个主题:MTP(Multi-Token Prediction)投机解码中,真正可调的参数是哪一个、该取什么值,以及为什么"调好了"这个结论本身依赖负载形态。MTP 头的补齐过程见本系列关于 MTP 落地的文章,此处不再展开。
喜欢打篮球的普通人
25 天前
vllm
AI 编译器的五大挑战与未来:从 TVM、XLA 到自动并行
上一篇我们拆开了 AI 编译器的通用架构:前端图优化 + 后端算子优化 + 两级 IR。这篇换个视角——看真实产品长什么样,以及这套架构在 2024 年之后卡在哪、往哪走。
GPUStack
1 个月前
llm
·
vllm
·
大模型推理
·
deepseek
·
gpustack
·
deepinfer
DeepInfer 能否跑赢 vLLM?GPUStack 八卡 B200 实测结果来了
高效推理技术的价值,需要通过实际部署才能进入业务。DeepSeek 开源 DeepInfer,为开发者提供了探索其推理技术的入口。对于希望在自有基础设施上运行模型的团队,接下来还需要解决一系列工程问题:如何提供 API、如何配置运行环境、如何管理 GPU,以及如何评估它在实际工作负载中的表现。
缘友一世
1 个月前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[6]:加载链路与磁盘规划
本篇讨论权重从 NFS 进入显存这条链路的实测账,以及由它推出的磁盘规划、内存护栏与 I/O 纪律。核心结论:加载耗时由 NFS 带宽×页缓存命中率 两个变量决定,带宽下限约 375 s,页缓存可以从 427 s 拉到 1802 s(4.2×)。
缘友一世
1 个月前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[5]:卸载换显存的边界
一句话:本篇回答「能不能把权重或 KV 卸到主机内存,换出更多显存来做大上下文」,权重卸载不可行、KV 卸载有条件可行但换不到上下文、DCP/PCP 搁置,真正管用的只有 PP + fp8 KV + 稀疏注意力。
江厌01
1 个月前
github
·
模型部署
·
vllm
两张卡部署两个模型:物理分卡、MIG、张量并行的选择与可复现配置
「两张显卡部署两个模型」有两种完全不同的需求:两个模型各占一张卡(服务隔离),或一个模型切到两张卡(显存扩容)。前者用两个独立推理实例分别绑卡,后者用张量并行。本文给出三条路线的选择树、可直接使用的 vLLM + Nginx 配置、MIG 的硬约束,以及一套隔离性验收脚本。