技术栈
推理优化
七夜zippoe
12 天前
多模态大模型
·
图像理解
·
推理优化
·
deepseek-vl2
·
自动文案生成
实战DeepSeek-VL2：实现图片内容理解与自动文案生成的完整流程
目录摘要1 技术原理与架构设计1.1 DeepSeek-VL2模型架构深度解析1.2 视觉-语言对齐机制
九章云极AladdinEdu
1 个月前
vllm
·
kv缓存
·
推理优化
·
pagedattention
·
连续批处理
·
吞吐量对比
大模型推理服务优化：vLLM的PagedAttention与连续批处理实现
大型语言模型（LLM）推理面临两大核心矛盾：计算密度高（单次推理需数十亿次浮点运算）与内存消耗大。以LLaMA-13B为例，仅KV缓存（Key-Value Cache）存储单个序列就可能占用1.7GB内存，而传统推理系统（如HuggingFace Transformers、FasterTransformer）由于固定内存预分配策略，导致60%-80%的内存因碎片化和过度保留而被浪费。
山顶夕景
10 个月前
大模型
·
llm
·
sft
·
拒绝采样微调
·
推理优化
【LLM】为何DeepSeek 弃用MST却采用Rejection采样
在提升大语言模型（LLM）推理能力时，拒绝采样（Rejection Sampling）和 马尔可夫搜索树（Markov Search Tree）是两个超强的技术。
我是有底线的