accelerate

kuokay15 天前
分布式·llama·deepspeed·fsdp·llama-factory·accelerate
深入理解 LLM 分布式训练全栈:从硬件到 LLaMA-Factory大语言模型的训练是一项复杂的系统工程。从底层的芯片指令,到上层的训练框架,每一层都承担着独特的职责,彼此协作才能完成数百亿参数模型的高效训练。本文将自底向上逐层拆解这套技术栈,并配合实际示例帮助你真正理解每一层的设计意图与工作机制。
爱分享的飘哥10 个月前
人工智能·pytorch·分布式训练·lightning·accelerate·训练框架·trainer
第七十章:告别“手写循环”噩梦!Trainer结构搭建:PyTorch Lightning让你“一键炼丹”!开场白:还在手写训练循环?拜托,都2025年了! 嘿,各位深度学习的“老铁”们!你是不是也经历过这样的“炼丹”苦日子:
shao9185162 年前
huggingface·transformers·optimum·diffusers·peft·开源库·accelerate
Hugging Face系列2:详细剖析Hugging Face网站资源——实战六类开源库本系列文章旨在全面系统的介绍Hugging Face,让小白也能熟练使用Hugging Face上的各种开源资源,并上手创建自己的第一个Space App,在本地加载Hugging Face管线训练自己的第一个模型,并使用模型生成采样数据,同时详细解决部署中出现的各种问题。后续文章会分别介绍采样器及其加速、显示分类器引导扩散模型、CLIP多模态图像引导生成、DDMI反转及控制类大模型ControlNet等,根据反馈情况可能再增加最底层的逻辑公式和从零开始训练LLM等,让您从原理到实践彻底搞懂扩散模型和大语
我是有底线的