训练

使用 GaLore 预训练LLaMA-7B项目代码：https://github.com/jiaweizzhao/galorehttps://github.com/jiaweizzhao/galore

AI入门指南(二)：算法、训练、模型、大模型是什么？人工智能（AI）已经成为现代科技的热门话题，但对于刚接触这个领域的人来说，其中的一些基本概念可能会感到困惑。本文将带你了解AI的几个关键概念：算法、模型、训练和大模型，并通过生活中的例子和实际应用来深入浅出地解释这些概念。

跟代码执行流程，读Megatron源码（四）megatron初始化脚本initialize.py之initialize_megatron()分布式环境初始化在前文中，我们讲述了pretrain函数的执行流程，其首要步骤是megatron分组的初始化与环境的配置。本文将深入initialize_megatron函数源码，剖析其初始化分布式训练环境的内部机制。

RandLA-Net 训练自定义数据集https://arxiv.org/abs/1911.11236

@会飞的毛毛虫

Stable Diffusion 系列教程 - 6 Dreambooth及训练Stable-Diffusion、Imagen等文生图大模型已经具备了强大的生成能力，假设我们的Prompt为 [Cyberpunk Style]，SD或许能很快画出赛博朋克风格的一幅画。但你作为一个不知名的人，不能奢求SD在训练的时候把你自己想要的风格也加进去吧？这时就需要我们能自己个性化调整一下原始的基础大模型。我们日常所用的底模的参数量是巨大的，自己训练是完全不可能的（训练整个Stable-Diffusion-1.4大概要15万GPU小时）。Dreambooth是谷歌的一种微调模型的方案。LORA是

stable diffusion model训练遇到的问题【No module named ‘triton‘】一天早晨过来，发现昨天还能跑的diffusion代码，突然出现了【No module named ‘triton’】的问题，导致本就不富裕的显存和优化速度雪上加霜，因此好好探究了解决方案。