大模型微调

程序员老奥

【有手就行】SWIFT：花20分钟把大模型的名字变成你的名字你有没有问过大模型“你是谁”？问了的话，拿到的答案清一色都是大模型厂商的名字。而如果你自己部署了一个模型的话，通常都希望有人在你的应用里问你是谁的时候能给出一个“你的答案”。这篇文章就是干这个事情的，20分钟让大模型的名字变成你自己的名字。

程序员老奥

【有手就行】LoRA：用你自己的数据来微调大模型，让大模型真正懂你上上周的周末无事在家，然后写了一篇《【有手就行】自己花20分钟从0开始训练一个“大模型”》，结果发现这两个星期涨了几十个关注，比我前面写了几个月文章得到的关注还多，看来这种浅显易懂的、入门级的技术文章相对来说会有更多人爱看一些。既然如此，我再把早先在做OddAgent时候，微调语音助手功能的流程也简单理一下，然后放出来给大家做一个参考吧。

科普专栏｜大语言模型：理解与生成语言的人工智能在人工智能的研究与应用中，大语言模型（Large Language Model，LLM）正逐步成为核心技术之一。如今，deepseek，腾讯元宝，字节豆包等等模型已经能够与我们进行流畅的对话，帮助解决问题、生成文本，甚至进行创造性写作。那么，背后到底是什么技术让这些系统能够如此智能地理解和生成语言呢？

@鱼香肉丝没有鱼

大模型分布式微调 & Xtuner我们传统意义上把分布式微调叫做多卡训练，多卡训练干嘛用的呢？其实它是为了解决两个问题：显存不足的问题；

大模型微调技术全景解析：从基础理论到工程实践带着问题阅读：近年来，预训练大模型（如 GPT、LLaMA、ChatGLM 等）在各种任务中展现出了惊人的通用能力。然而，当这些“通才”模型面对医疗、金融、法律等专业领域时，往往显得力不从心。模型微调技术正是连接通用能力与专业需求的桥梁，它通过针对性的参数优化，让大模型完成从“博学”到“专精”的蜕变。

@鱼香肉丝没有鱼

大模型微调—LlamaFactory自定义微调数据集本文内容如下：LLaMA-Factory 微调数据集制作Lora 模型合并与量化导出使用 open-webui 部署模型

InstructGPT 论文略读：三步走，让大模型真正听懂人话大语言模型（LLM），如 GPT-3，无疑开启了自然语言处理的新纪元。它们强大的零样本和少样本学习能力，让我们看到了通用人工智能的一丝曙光。然而，任何与 GPT-3 有过深入“交流”的开发者或研究员都会发现一个问题：它虽然博学，但并不总是“乐于助人”或“听话”。

“AI+“行动下的可控智能体:GPT-5 与 GPT-OSS 高性能推理安全可控产业落地 GPT-OSS 一可控AI目前全球唯一开源解决方案“AI+"行动下的可控智能体:GPT-5 与 GPT-OSS 高性能推理安全可控产业落地 GPT-OSS 一可控AI目前全球唯一开源解决方案

大模型参数高效微调技术我们正处在一个由基础模型（Foundation Models）驱动的时代。GPT、Llama、Claude等大规模预训练语言模型（LLM）已成为理解和生成语言的通用引擎,展现出惊人的能力。然而,这些强大的通用模型如同未经雕琢的璞玉,要将其应用于特定场景并确保其行为符合人类期望,还需经历关键的"最后一公里"——适配与对齐。

大数据AI人工智能培训专家培训讲师叶梓

腾讯混元开源视频拟音模型，破解 AI 视频 “无声” 难题想要掌握如何将大模型的力量发挥到极致吗？叶梓老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具。

[大模型微调]基于llama_factory用 LoRA 高效微调 Qwen3 医疗大模型:从原理到实现在大模型落地医疗场景时，直接使用通用预训练模型往往存在 “医疗知识精准度不足”“临床场景适配性差” 等问题，而全量微调又面临 “显存占用高、训练成本高、部署难度大” 的痛点。此时，LoRA（Low-Rank Adaptation，低秩适应）技术成为解决这一矛盾的最优解之一。本文将先解析 LoRA 的核心逻辑，再带大家一步步完成基于 LoRA 的 Qwen3 医疗大模型微调，最终实现医疗场景下的精准推理。

微调大语言模型（LLM）有多难？其实没那么难，只要你能做到这两点：在第一点上的技能越熟练，对第二点的依赖就越小。一个简单粗暴的微调循环可能需要几十 GB 的 GPU 内存，但通过巧妙配置的模型和训练循环，用十分之一的内存就能训练出性能相当的微调模型。

# 微调需要准备哪些环境配置？如果没有 GPU，即便是微调较小的大语言模型（LLMs），过程也会比较慢。如果你已经有了现成的 GPU，那就可以直接开工了。不过，并不是所有人都能负担得起 GPU—— 这种情况下，你可以使用云服务平台来跟随本实操系列课程运行代码，比如 Google Colab（免费版提供 Tesla T4 GPU，含 15GB 内存）和 runpod.io（付费服务）。

汀、人工智能

AI-Compass宝藏资源库：构建最全面的AI学习与实践生态，服务AI全群体AI-Compass将为你和社区提供在AI技术海洋中航行的方向与指引。无论你是刚踏入AI领域的初学者，还是寻求技术突破的进阶开发者，都能在这里找到通往AI各大技术方向的清晰路径和实践指南。作为一个全面覆盖人工智能技术栈的综合性开源项目，AI-Compass 不仅仅是一个简单的资源收集库，更是一个经过精心策划和系统化组织的AI学习生态系统。我们深度整合了从基础理论到前沿应用的完整知识体系，涵盖大语言模型、多模态AI、机器学习、深度学习、计算机视觉、自然语言处理、推荐系统、强化学习等核心技术领域，以及RAG、

为啥全要学

LLaMA-Factory 微调 Qwen2-7B-Instruct将训练数据放在 LLaMA-Factory/data/fintech.json 并且修改数据注册文件：LLaMA-Factory/data/dataset_info.json

五、【LLaMA-Factory实战】模型部署与监控：从实验室到生产的全链路实践在大模型应用落地过程中，从实验室研究到生产环境部署存在巨大挑战。本文基于LLaMA-Factory框架，详细介绍大模型部署与监控的完整流程，包含推理优化、服务化部署、监控与迭代的核心技术，并附代码与命令行实现。

4.2【LLaMA-Factory实战】金融财报分析系统：从数据到部署的全流程实践在金融领域，财报分析是投资决策的核心环节。传统分析方法面临信息提取效率低、风险识别不全面等挑战。本文基于LLaMA-Factory框架，详细介绍如何构建一个专业的金融财报分析系统，包含数据处理、模型优化、部署监控的完整流程，并附代码与命令行实现。

4.3【LLaMA-Factory实战】教育大模型：个性化学习路径生成系统全解析在教育领域，传统"一刀切"的教学模式难以满足学生的个性化需求。本文基于LLaMA-Factory框架，详细介绍如何构建一个个性化学习路径生成系统，包含数据增强、模型微调和交互设计的完整流程，并附代码与命令行实现。

大模型微调Fine-tuning：从概念到实践的全面解析目录引言一、什么是大模型微调？1.1 预训练与微调的区别1.2 微调的技术演进二、为什么需要微调？2.1 解决大模型的固有局限