Pytorch Lightning 框架运行顺序

之前学习Lightning在打断点debug的时候一直不懂为什么trainer.fit()之后就开始运行了 其中的hooks 什么的概念也不理解 在看了若干文章后大致理解其中顺序。如有错误请斧正。
Hooks: 实际就是lighting框架的运行顺序, train阶段的运行顺序大致如下(其中的函数都可以重写):

python 复制代码
def fit(self):
    configure_callbacks()

    if local_rank == 0:
        prepare_data()

    setup("fit")
    configure_model()
    configure_optimizers()

    on_fit_start()

    # the sanity check runs here

    on_train_start()
    for epoch in epochs:
        fit_loop()
    on_train_end()

    on_fit_end()
    teardown("fit")

需要注意的是:

  1. the sanity check runs here 这行注释 lighting会先执行validation_step() 跑两个batch 进行检查。(之前一直不懂为什么train的时候先执行validation)
  2. prepare_data() 和 setup() 这两个function 在Data的class里重写 其余的在model的class里重写。
相关推荐
ZhengEnCi1 小时前
09ba-斯坦福CS336作业一-前馈网络
人工智能
武子康1 小时前
调查研究-175 Supermemory:AI 时代的 Memory API,不只是另一个向量数据库
人工智能·openai
寒山李白1 小时前
人工智能训练师报考指南
人工智能·ai·证书·职称·训练师
努力努力再努力FFF1 小时前
大学四年AI能力规划:从入门学习到简历表达
人工智能·学习
Litluecat1 小时前
配合多角色提示语3,学习AI漫剧(刚开始学)
人工智能·学习·ai·提示词·短剧·漫剧
xixingzhe21 小时前
AI开发工具-大需求
人工智能
沪漂阿龙2 小时前
create_agent:LangChain 新版 Agent 的核心入口
人工智能·架构·langchain
茉莉玫瑰花茶2 小时前
综合案例 - AI 智能租房助手 [ 5 ]
服务器·数据库·人工智能·python·ai
文艺倾年2 小时前
【强化学习】强化学习基本概念,20W字总结(一)
人工智能·python·语言模型·自然语言处理·面试·职场和发展·大模型
FserSuN2 小时前
压缩在智能中的作用
人工智能