LoRA 大模型微调是怎么回事

预训练:通过海量的输入得到输出,然后计算loss值,不断调整参数的过程。

特点:材料的量大。

微调:(监督微调SFT)投入特定的文本进行训练。

用小矩阵乘法,去适配大矩阵参数的一个过程

什么是LoRA 大模型微调是怎么回事_哔哩哔哩_bilibili

相关推荐
kishu_iOS&AI15 小时前
深度学习 —— 神经网络(1)
人工智能·深度学习·神经网络
MOON404☾15 小时前
Chapter 001. Machine Learning Fundamentals
人工智能·机器学习
jingqingdai315 小时前
微信小程序 Canvas 2D 踩坑指南:如何优雅地导出高清长图?(附 AI 辅助实录)
人工智能·微信小程序·小程序
用户51914958484515 小时前
Apache安全漏洞测试工具 - CVE-2024-38475利用脚本
人工智能·aigc
2503_9284115616 小时前
AI 行业正在重塑每个人的工作方式,而你需要一个更轻松的入口
人工智能·小程序
AC赳赳老秦16 小时前
程序员面试:OpenClaw生成面试题、模拟面试,高效备战面试
人工智能·python·机器学习·面试·职场和发展·deepseek·openclaw
开开心心就好16 小时前
无需安装的单机塔防游戏轻松畅玩
人工智能·游戏·pdf·音视频·智能家居·语音识别·媒体
tq108616 小时前
三层压缩与AI时代的伦理转向
人工智能
开开心心就好16 小时前
这款工具批量卸载软件并清理残留文件
人工智能·游戏·音视频·语音识别·媒体·程序员创富·高考
郭菁菁16 小时前
01 为什么90%的人转AI,卡在第一步就放弃了
人工智能