注意力约束

一枚爱吃大蒜的程序员2 小时前
人工智能·机器学习·语言模型·qlora·大模型微调·注意力约束
CSDN文章-注意力约束QLoRA教育大模型微调📌 论文原题：基于注意力约束QLoRA与指令样本增强的大模型微调方法研究 📌 核心成果：BLEU 44.1 / ROUGE-L 47.8 / F1 77.3% / 准确率 79.1%，较原生QLoRA提升5.6~10.6个百分点，峰值显存仅8.9GB，推理延迟130ms 📌 适用场景：职业院校、中小型教育机构等低资源条件下的垂直领域大模型微调
我是有底线的