技术栈
敏感层
self-motivation
9 小时前
量化
·
mlp
·
fp8
·
nvfp4
·
敏感层
model_optimizer使用实践----------分析pi05 nvfp4量化后精度下降明显的问题
model_optimizer 对pi05的llm模型进行nvfp4量化后,精度下降明显.上一篇文章介绍了model_optimizer推理性能可视化的功能
我是有底线的