Pytorch Lightning 框架运行顺序

之前学习Lightning在打断点debug的时候一直不懂为什么trainer.fit()之后就开始运行了 其中的hooks 什么的概念也不理解 在看了若干文章后大致理解其中顺序。如有错误请斧正。
Hooks: 实际就是lighting框架的运行顺序, train阶段的运行顺序大致如下(其中的函数都可以重写):

python 复制代码
def fit(self):
    configure_callbacks()

    if local_rank == 0:
        prepare_data()

    setup("fit")
    configure_model()
    configure_optimizers()

    on_fit_start()

    # the sanity check runs here

    on_train_start()
    for epoch in epochs:
        fit_loop()
    on_train_end()

    on_fit_end()
    teardown("fit")

需要注意的是:

  1. the sanity check runs here 这行注释 lighting会先执行validation_step() 跑两个batch 进行检查。(之前一直不懂为什么train的时候先执行validation)
  2. prepare_data() 和 setup() 这两个function 在Data的class里重写 其余的在model的class里重写。
相关推荐
火云牌神2 小时前
本地大模型编程实战(38)实现一个通用的大模型客户端
人工智能·后端
哇哈哈&2 小时前
安装wxWidgets3.2.0(编译高版本erlang的时候用,不如用rpm包),而且还需要高版本的gcc++19以上,已基本舍弃
linux·数据库·python
半吊子全栈工匠2 小时前
如何接手一个数据团队?
大数据·人工智能
后端研发Marion3 小时前
【JoyAgent-JDGenie 全栈多智能体系统技术文档】
人工智能·大模型·智能体·langflow·joyagent
多则惑少则明3 小时前
AI测试、大模型测试(一)
人工智能·ai测试·大模型测试
灰灰勇闯IT3 小时前
飞桨平台实战:从零训练中文文本分类模型,附完整开发流程
人工智能·分类·paddlepaddle
新智元3 小时前
GPT-5.2 提前泄露?今夜,OpenAI 要拿 Gemini 3 祭天!
人工智能·openai
catchadmin3 小时前
用 Laravel 官方 AI 工具提升开发效率 效率提示数倍
人工智能·php·laravel
李小星同志3 小时前
DPO,PPO,GRPO的学习
人工智能·深度学习·学习