技术栈
ktransformers
马武寨山的猴子
4 天前
架构
·
transformer
·
moe
·
ktransformers
·
sglang
【KTransformers+SGLang】：异构推理架构融合与性能实测全解析
期望使用KTransformers的将部分模型加载到内存和cpu上，达到在GPU资源比较匮乏的情况下运行一些超过显存的模型，并且达到一定的token数，可以多人同时使用
kcarly
1 年前
人工智能
·
科技
·
开源
·
清华
·
deepseek
·
趋境科技
·
ktransformers
清华大学KVCache.AI团队联合趋境科技联合的KTransformers开源项目为什么那么厉害
KTransformers是一个由清华大学KVAV.AI团队开发的开源项目，旨在优化大语言模型（LLM）的推理性能，特别是在有限显存资源下运行大型模型。以下是KTransformers的详细介绍：
我是有底线的