后验估计

十年伴树4 个月前
知识蒸馏·交叉熵·llm compression·后验估计
20240621日志：大模型压缩-从闭源大模型蒸馏location：beijing 涉及知识：大模型压缩、知识蒸馏本文提出在一个贝叶斯估计框架内估计闭源语言模型的输出分布，包括先验估计和后验估计。先验估计的目的是通过闭源模型生成的语料库（可能包含模型的粗粒度信息）得到先验分布；后验估计使用代理模型来更新先验分布并生成后验分布。利用这两个分布来进行知识蒸馏。