大模型-模型压缩：量化、剪枝、蒸馏、二值化 (4)

大模型-模型压缩：量化、剪枝、蒸馏、二值化 (4)

一、模型压缩概述

1.模型压缩的必要性

2.模型压缩的目标

二、量化

1.量化原理

2.量化方法分类

3.量化的优势与局限

三、剪枝

1.剪枝原理

2.剪枝方法分类

3.剪枝的优势与局限

四、蒸馏

1.蒸馏原理

2.蒸馏方法流程

3.蒸馏的优势与局限

五、二值化

1.二值化原理

2.二值化方法应用

3.二值化的优缺点