vllm-ascend - vllm-ascend技术,学习,经验文章

AiChiMomo.

4 小时前

【vLLM-模型特性适配】GLM4.5 GLM4.6 w8a8权重量化作者：昇腾实战派智谱GLM4.5、GLM4.6模型推理性能优化，本文提供量化权重导出方法，使用工具是msmodelslim。