LoRA 大模型微调是怎么回事

预训练:通过海量的输入得到输出,然后计算loss值,不断调整参数的过程。

特点:材料的量大。

微调:(监督微调SFT)投入特定的文本进行训练。

用小矩阵乘法,去适配大矩阵参数的一个过程

什么是LoRA 大模型微调是怎么回事_哔哩哔哩_bilibili

相关推荐
tyqtyq2215 分钟前
药品说明书解读 —— AI 安全用药助手,鸿蒙原生应用深度解析
人工智能·学习·华为·生活·harmonyos
feiyu_gao21 分钟前
别再让 AI 从零开始了
人工智能·架构·aigc
AIOps打工人37 分钟前
女朋友想要专属桌宠?我用 AI 提示词,1 小时把照片变成 57 帧动画精灵
人工智能
大囚长1 小时前
自由能原理视域下的游戏成瘾机制——以“羊了个羊”为例
人工智能·游戏
水如烟1 小时前
孤能子视角:三十六计之远交近攻——拓扑重构
人工智能
YOLO数据集集合1 小时前
番茄病害智能诊断系统:YOLO+DeepSeek农业AI落地实践
人工智能·yolo·目标检测·计算机视觉
QN1幻化引擎1 小时前
我写了一个「有八层意识结构」的 Python 认知引擎,它没有用任何 LLM
人工智能·算法·架构
anyup2 小时前
这一套绝了!AI 大模型写故事,星云 SDK 驱动 3D 数字人实时演绎
前端·人工智能·aigc
张彦峰ZYF2 小时前
大模型LLM ACA - ACP认证考试真题冲刺演练二答案参考
人工智能·lora·llm·embedding·rag·few-shot