10.30【大模型】

知识蒸馏

是什么?

疑问1

蒸馏为什么能降低显存等一系列代价,提高速度?就是说模型推理本身就是一堆线性与非线性的含参节点,只要填上合理的参数,就能达到很好的效果,即填上的参数越好,那效果越好;所以小模型虽然参数数量小,但是如果参考大模型的输出,使自己整体的参数填得更好,效果就更好,然后显存等资源本身就是小模型的红利;

那能否认为,对于给定参数量的模型,对某类或通用任务,都有最优的参数填法,然后优秀的数据集,微调,蒸馏等,都是让每个模型更好地去逼近这个参数填法的方式?

蒸馏为什么能降低推理代价

蒸馏不是把大模型参数直接复制给小模型

"参数填得越好,效果越好"基本正确,但模型结构也决定上限

疑问1.1

从宏观整体地讲,就是给定任务A,给定模型m,参数量为B,就是去寻找一种架构C和所有参数B的填法,使m能对任务A达到最优效果;每个参数量下的模型都有其最优效果,如何寻找其最优架构与填法,是否有研究?

如何描述和评价模型的泛化性能?

模型下载

当在下载模型时,比如是2B大小的模型,是在下载模型的这2B参数的填法,那这2B参数的架构,即是如何组织的,是否在下载内容当中?下载完后,又该如何感知和利用模型的参数与架构?

疑问1

相关运行库如何依据下载的内容,来构建起真正可运行,可计算的结构,并开始进行运算的?详细过程是怎样的?

from_pretrained() 大致做了什么

相关推荐
郝学胜-神的一滴8 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Frag0ut9 小时前
Chrome 2026浏览器AI助手全攻略:智能问答与内容创作实战进阶指南
人工智能·chrome·ai助手·本地大模型·浏览器ai·网页智能总结·侧边栏ai
如夏倾城9 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
Dawson Zhu9 小时前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
水如烟10 小时前
孤能子视角:通用智能 vs 分工协同智能群系统–––集中结晶 vs 分布式结晶
人工智能
罗西的思考10 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
lilihuigz10 小时前
权限配置:WordPress 7.2 Abilities API 权限、输入验证与 JSON 输出指南
人工智能
杨凯凡10 小时前
IT日报|2026-11-20:欧盟 AI 网络攻击、Valkey 9.2、GitHub 企业迁移
人工智能·github
鲁邦通物联网11 小时前
机器人梯控到站状态机设计:楼层匹配、事件时序与任务判断
人工智能·机器人·机器人梯控·agv梯控·非侵入式采集·机器人乘梯·机器人自主乘梯