技术栈
glm5.3 cybersec
缘友一世
2 小时前
ubuntu
·
vllm
·
glm5.3 cybersec
GLM5.3 CyberSec w4A16本地部署[2]:并行策略与 PP 切分
本篇讲并行策略怎么选:MLA 模型上 TP 换不来 KV 容量、PP 提升容量、PP_LAYER_PARTITION=41,37 层切分的来源,以及 DP/EP/DCP/PCP 不使用的原因。
我是有底线的