技术栈
nano-vllm
爱听歌的周童鞋
2 天前
llm
·
vllm
·
scheduler
·
inference
·
nano-vllm
·
block manager
Nano-vLLM深度解读（上）
最近博主看了几个视频想来学习下 nano-vllm，记录下个人学习笔记，和大家一起分享交流😄Note：一些基础的内容默认大家都会，我们的重点是关注 vLLM 推理框架的核心机制，而对于模型本身的知识例如 nano-vllm 使用的 Qwen 系列模型构建部分我们会跳过，不会讲得那么详细。
linzm14
3 个月前
大模型
·
推理
·
nano-vllm
Nano-vLLM-Ascend
参考 https://github.com/linzm1007/nano-vllm-ascendnano-vllm是开源的一个gpu推理项目，基于开源版本弄的一个ascend npu版本推理小demo，旨在帮助初学者了解推理的整体流程，区别于vllm，nano-vllm体量更小，麻雀虽小五脏俱全，更有助于初学者学习。
我是有底线的