技术栈
大模型推理优化
可乐ea
20 天前
ai智能体
·
vllm
·
kv缓存
·
大模型推理优化
·
分离式推理
vLLM 分离式推理实战指南：把 prefill 和 decode 拆开跑
原文：vLLM Blog - 《Taking vLLM Apart: A Practical Guide to Disaggregated Serving》（https://vllm.ai/blog/2026-09-29-disaggregated-serving-guide）
技术狂潮AI
2 年前
性能优化
·
kv cache 量化技术
·
大模型推理优化
KV Cache量化技术详解：深入理解LLM推理性能优化
在大模型技术快速发展的浪潮中，LLM的私有化部署与应用已成为各行业的刚需。然而，随着企业深入探索大模型应用场景，GPU资源消耗所带来的高昂部署成本，始终是制约大模型落地的关键瓶颈。特别是在需要进行模型训练和微调的特定领域应用中，如何在有限的硬件资源约束下最大化模型性能，已成为亟待解决的技术难题。值得关注的是，Ollama团队近期在最新发布的版本中引入了KV Cache 量化技术，为解决这一困境提供了一种优雅而高效的解决方案。
我是有底线的