LoRA 大模型微调是怎么回事

预训练:通过海量的输入得到输出,然后计算loss值,不断调整参数的过程。

特点:材料的量大。

微调:(监督微调SFT)投入特定的文本进行训练。

用小矩阵乘法,去适配大矩阵参数的一个过程

什么是LoRA 大模型微调是怎么回事_哔哩哔哩_bilibili

相关推荐
悬木5 分钟前
从单体到 AI 搜索:一个电商搜索系统的进化
人工智能
m4Rk_13 分钟前
【论文阅读】Agent 记忆机制(69):STITCH——用上下文意图解决“语义相关但情境错误”的记忆检索
论文阅读·人工智能·学习·开源·github
zhikouai22 分钟前
删掉提示词之后,AI的表现反而更好
人工智能
skywalk816325 分钟前
光明之路_Trae开发宣传_济宁聚会 9.12日《光明之路》讲演稿
人工智能·语言·实践
今天AI了吗35 分钟前
什么是 AI Agent?它与直接调用大模型 API 有何区别
java·网络·人工智能·架构·java-ee
Hopetree39 分钟前
AI Agent 实战手记 04:给 Agent 选对 Loop 工作方式_AI
人工智能
掘金酱42 分钟前
社区排行榜现已上线
前端·人工智能
zzjyr44 分钟前
AI 问答的流式响应是怎么实现的?从 fetch 到 SSE 逐字解析
前端·人工智能·ai编程
用户521133498121 小时前
拍照识别试卷:我在一台 2016 年的 NAS 上做「错题本」,踩了 8 个坑
人工智能
Zzj_tju1 小时前
VLM 读图评测:先审计评分器,再判断读错还是算错
人工智能·深度学习·机器学习·语言模型