技术栈
推理优化
九章云极AladdinEdu
1 天前
vllm
·
kv缓存
·
推理优化
·
pagedattention
·
连续批处理
·
吞吐量对比
大模型推理服务优化：vLLM的PagedAttention与连续批处理实现
大型语言模型（LLM）推理面临两大核心矛盾：计算密度高（单次推理需数十亿次浮点运算）与内存消耗大。以LLaMA-13B为例，仅KV缓存（Key-Value Cache）存储单个序列就可能占用1.7GB内存，而传统推理系统（如HuggingFace Transformers、FasterTransformer）由于固定内存预分配策略，导致60%-80%的内存因碎片化和过度保留而被浪费。
山顶夕景
9 个月前
大模型
·
llm
·
sft
·
拒绝采样微调
·
推理优化
【LLM】为何DeepSeek 弃用MST却采用Rejection采样
在提升大语言模型（LLM）推理能力时，拒绝采样（Rejection Sampling）和 马尔可夫搜索树（Markov Search Tree）是两个超强的技术。
我是有底线的