12333

docker run -d \

--restart unless-stopped \

--name vllm-dsv4.1-flash-1009 \

--gpus all \

--ipc=host \

--shm-size=32g \

--ulimit memlock=-1 \

-p 8004:8004 \

-v /model/deepseek/log:/logs \

-v /model/deepseek/DeepSeek-V4.1-Flash:/model/deepseek/DeepSeek-V4.1-Flash:ro \

-e VLLM_ENGINE_READY_TIMEOUT_S=3600 \

-e VLLM_KV_CACHE_LAYOUT=BLHNC \

vllm/vllm-openai:v0.31.0 \

/model/deepseek/DeepSeek-V4.1-Flash \

--host 0.0.0.0 \

--port 8004 \

--served-model-name deepseek-ai/DeepSeek-V4-Flash \

--trust-remote-code \

--tensor-parallel-size 8 \

--max-model-len 1000000 \

--max-num-seqs 128 \

--max-num-batched-tokens 16384 \

--gpu-memory-utilization 0.9 \

--block-size 64 \

--enable-expert-parallel \

--enable-chunked-prefill \

--enable-prefix-caching \

--tokenizer-mode deepseek_v41 \

--tool-call-parser deepseek_v41 \

--kv-cache-dtype fp8 \

--enable-auto-tool-choice

相关推荐
下一站春风里42 分钟前
Spring IoC 控制反转 完整技术笔记
java·spring boot·笔记·spring
挖掘狂人1 小时前
用户连点两次「确认支付」,你的后端凭什么只扣一次钱?
java·后端·面试
codigger1 小时前
用户连点两次「确认支付」,你的后端凭什么只扣一次钱?
java·程序员·支付·java后端
Resean02231 小时前
SpringMVC 6+源码分析(十)数据绑定与类型转换
java·spring·springmvc
lw_zhang11011 小时前
爆肝一个月,Java 从入门到精通39 - 使用Log4j
java·单元测试·log4j
Rain的Java大神之路1 小时前
面试官问"MySQL 大表 COUNT(*) 怎么优化",90% 的人第一步就答错了
java·后端·面试
唐老板1 小时前
AI 都会编程了,Java 何去何从
java·ai编程
nice_lcj5201 小时前
MySQL 慢查询与 EXPLAIN:怎么定位、怎么优化
java·数据库·后端·mysql
芜名氏2 小时前
API 文档生成工具——SpringDoc
java·spring boot·ci/cd·设计规范
这个昵称不容易3 小时前
SpringBoot 医疗病历交互系统毕设:192 个 Java 文件、256 个接口、22 张表,附真实运行截图
java·springboot·毕设