【vLLM学习笔记】：vLLM 参数说明

vLLM 参数说明

基本用法

python -m vllm.entrypoints.openai.api_server [选项]

模型参数

参数	说明	默认值
--model	使用的 HuggingFace 模型名称或路径	facebook/opt-125m
--tokenizer	使用的分词器名称或路径
--skip-tokenizer-init	跳过分词器初始化
--revision	模型版本（分支、标签或commit）
--code-revision	模型代码的特定版本
--tokenizer-revision	分词器的特定版本
--tokenizer-mode	分词器模式（auto/slow）	auto
--trust-remote-code	信任 HuggingFace 的远程代码
--download-dir	模型下载和缓存目录	HF默认缓存路径
--load-format	模型加载格式（auto/pt/safetensors/npcache等）	auto
--dtype	模型权重和激活的数据类型（auto/half/float/bfloat16等）	auto
--kv-cache-dtype	KV 缓存的数据类型	auto
--quantization-param-path	FP8量化时的KV缓存缩放因子JSON路径
--max-model-len	模型上下文长度，未指定则自动派生
--guided-decoding-backend	引导解码使用的引擎（outlines/lm-format-enforcer）	outlines

多GPU与分布式

参数	说明	默认值
--worker-use-ray	使用Ray进行多GPU分布式部署	自动启用
--pipeline-parallel-size, -pp	pipeline并行数量	1
--tensor-parallel-size, -tp	tensor并行数量	1
--max-parallel-loading-workers	分批加载模型以避免OOM
--ray-workers-use-nsight	使用nsight分析Ray进程

性能与内存控制

参数	说明	默认值
--block-size	Token块大小（8/16/32）	16
--enable-prefix-caching	启用prefix缓存
--use-v2-block-manager	使用BlockSpaceManagerV2
--num-lookahead-slots	用于speculative decoding的预览插槽	0
--seed	随机种子	0
--swap-space	每块GPU的CPU交换空间（GiB）	4
--gpu-memory-utilization	GPU显存使用比例（0~1）	0.9
--num-gpu-blocks-override	覆盖GPU块数量（测试用）
--max-num-batched-tokens	每轮最大token数量
--max-num-seqs	每轮最大序列数量	256
--max-logprobs	每轮最多返回的logprobs	5
--disable-log-stats	禁用统计日志

量化与精度

参数	说明	默认值
--quantization, -q	权重量化方法（awq/gptq/fp8等）	None
--enforce-eager	强制使用eager模式PyTorch	False
--max-context-len-to-capture	CUDA Graph支持的最大上下文长度	8192
--disable-custom-all-reduce	禁用自定义all-reduce逻辑

分词器线程池配置

参数	说明	默认值
--tokenizer-pool-size	分词器线程池大小，0表示同步	0
--tokenizer-pool-type	分词器线程池类型（如ray）	ray
--tokenizer-pool-extra-config	额外配置（JSON格式）

LoRA 相关

参数	说明	默认值
--enable-lora	启用LoRA适配器支持
--max-loras	单批次最大LoRA数量	1
--max-lora-rank	LoRA最大秩	16
--lora-extra-vocab-size	LoRA的额外词表大小	256
--lora-dtype	LoRA使用的数据类型	auto
--max-cpu-loras	CPU中存储的最大LoRA数量	max_num_seqs

硬件与图像支持

参数	说明	默认值
--device	执行设备（auto/cuda/neuron/cpu）	auto
--image-input-type	图像输入类型（pixel_values/image_features）
--image-token-id	图像token的ID
--image-input-shape	图像输入最大尺寸
--image-feature-size	图像特征的context维度大小

调度与优化

参数	说明	默认值
--scheduler-delay-factor	调度延迟因子	0.0
--enable-chunked-prefill	启用基于最大token分块的预填充

推测性解码（Speculative Decoding）

参数	说明
--speculative-model	用于推测的草稿模型名称
--num-speculative-tokens	每次推测的token数量
--speculative-max-model-len	草稿模型支持的最大长度

其他

参数	说明
--model-loader-extra-config	模型加载器的额外JSON配置

异步引擎参数

参数	说明	默认值
--engine-use-ray	使用Ray将LLM引擎作为独立进程启动
--disable-log-requests	禁用请求日志记录
--max-log-len	打印日志的最大prompt字符数或ID数	无限

---

参考：vLLM Engine Arguments