调优算法

Transformers 微调预训练模型：原理到实践（Ubuntu22.04 + Conda）作者：吴业亮博客：wuyeliang.blog.csdn.netTransformers模型的优势在于“通用预训练+任务特定微调”：

LLaMA-Factory 分布式训练实践作者：吴业亮博客：wuyeliang.blog.csdn.net无需额外配置文件，通过 torchrun 启动即可，LLaMA-Factory 会自动适配 DDP。

从原理到部署：LLaMA Factory 量化实战（Ubuntu 22.04）——PTQ/GPTQ/AWQ 等 9 种方法作者：吴业亮博客：wuyeliang.blog.csdn.net本文系统讲解LLaMA Factory中主流量化方法的核心原理，并基于Ubuntu 22.04环境完成PTQ/GPTQ/AWQ等9种量化方案的实操落地，涵盖环境搭建、命令行实现、关键参数调优，适配LLaMA/LLaMA2/LLaMA3等主流模型。

LLaMA-Factory 加速技术全解析：FlashAttention/Unsloth/Liger Kernel 原理与 Ubuntu22.04 实践指南作者：吴业亮博客：wuyeliang.blog.csdn.net传统Transformer注意力计算存在严重的内存访存瓶颈：需要显式存储注意力权重矩阵（O(n²)），且HBM（高带宽内存）读写速度远低于计算单元速度。 FlashAttention通过两大核心优化解决该问题：

LLaMA-Factory 主流调优算法详解作者：吴业亮博客：wuyeliang.blog.csdn.netLLaMA-Factory 是一站式大语言模型（LLM）微调框架，支持多种参数高效调优（PEFT）和全参数调优算法，适配不同算力、精度和任务场景。本文详细解析其中核心的 Full Parameter Fine-tuning、Freeze、LoRA、Galore、BAdam 五种调优算法的原理、适用场景、实现逻辑及优缺点。

我是有底线的