nano-vllm - nano-vllm技术,学习,经验文章

linzm14

14 小时前

Nano-vLLM-Ascend参考 https://github.com/linzm1007/nano-vllm-ascendnano-vllm是开源的一个gpu推理项目，基于开源版本弄的一个ascend npu版本推理小demo，旨在帮助初学者了解推理的整体流程，区别于vllm，nano-vllm体量更小，麻雀虽小五脏俱全，更有助于初学者学习。