1b3

Macropodus1 年前
gpt·chatgpt·预训练·从零开始·1b3
从零开始训练一个ChatGPT大模型（低资源，1B3）大模型全量预训练(1b3), 多卡deepspeed/单卡adafactor源码地址：https://github.com/yongzhuo/MacroGPT-Pretrain.git