Python学习 | 怎么理解epoch?

如果说 torch.manual_seed(42) 是为了让比赛的起跑线 固定,那么 Epoch(发音:/ˈiːpɒk/ 或 /ˈepək/) 就是告诉你,这场比赛你要跑几圈

简单定义:一个 Epoch = 把所有的训练数据完整地"看"一遍。

为了让你彻底理解,我们用**"学生备考"**来打比方:


1. 核心类比:刷题备考

想象你是一个即将参加数学考试的学生(也就是模型 ),你手里有一本包含 1000 道题的习题集(也就是数据集)。

  • 1 个 Epoch

    意思就是你把这 1000 道题,从第 1 题做到第 1000 题,完整地做了一遍

  • 10 个 Epochs

    意思就是你把这本习题集刷了 10 遍。第一遍可能做错很多,第二遍改正了一些,第十遍的时候你可能已经很熟练了。


2. 为什么要跑多个 Epoch?(为什么刷一遍题不够?)

你可能会问:"既然模型看过了所有数据,为什么还要看第二遍、第三遍?"

原因有两个:

  1. 模型很"笨",学得慢

    深度学习的模型不是"过目不忘"的天才。它学习的方式是梯度下降(Gradient Descent)。这就像下山一样,每看一批数据,它只敢往山下挪一小步。只看一遍数据(1个 Epoch),它可能只挪到了半山腰,还没到山谷底(最优解)。所以需要反复看,反复调整。

  2. 防止欠拟合(Underfitting)

    如果 Epoch 太少(比如只刷了半遍题),模型还没学会规律,考试肯定挂科。

但是,Epoch 是不是越多越好?

不是!

如果 Epoch 太多(比如一本习题集你背了 10000 遍),你会把答案背下来 ,而不是学会解题方法。

这叫 过拟合 (Overfitting)。表现就是:平时做练习题(训练集)全对,一上考场遇到新题(测试集)就歇菜。


3. 必须要分清的三个概念:Epoch / Batch / Iteration

这是新手最容易晕的地方。我们继续用**"吃蛋糕"**来比喻:

假设你面前有一个超级大的蛋糕(整个数据集,比如 1000 张图),你要把它吃完。

  1. Epoch(回合)

    • 定义:把整个大蛋糕完整地吃完一次。

    • "我今天要吃 5 个 Epoch" = "我要把这种大蛋糕吃完 5 个。"

  2. Batch Size(批大小)

    • 定义:你的嘴巴不够大,不能一口吞下整个蛋糕。你一勺子能吃多少?

    • 假设你一勺子能吃 10 张图,那么 Batch Size = 10。

  3. Iteration(迭代次数/步数)

    • 定义:吃完这一个蛋糕,需要挥动多少次勺子?

    • 公式:总数据量 / Batch Size。

    • 如果蛋糕有 1000 张图,你一口吃 10 张,那你需要吃 1000 / 10 = 100 口。这就叫 100 个 Iteration。


4. 代码里的样子

在 PyTorch 代码中,这三个概念通常是这样嵌套的:

code Python

downloadcontent_copy

expand_less

复制代码
    # 假设总数据量 = 1000
# batch_size = 10
# 那么 1 个 Epoch 需要循环 100 次 (Iterations)

# 外层循环:控制 Epoch (刷几遍题)
for epoch in range(5):  # 我们打算跑 5 个 Epoch
    print(f"正在开始第 {epoch+1} 遍刷题...")
    
    # 内层循环:控制 Iteration (分批次吃数据)
    for batch_idx, (data, target) in enumerate(train_loader):
        # 这里每执行一次,就是处理了一个 Batch (10条数据)
        # ... 训练模型的代码 ...
        pass

    # 此时,内层循环结束,意味着 1 个 Epoch 完成了
    print(f"第 {epoch+1} 遍刷题结束!")

总结

  • torch.manual_seed(42) :确一起跑时的姿势起跑线是一样的。

  • Epoch :决定你要在训练场上跑几圈

跑太少(Epoch少)没练到位;跑太多(Epoch多)会累傻(死记硬背)。调参大师的工作之一,就是找到那个**"刚刚好"**的 Epoch 数量。

相关推荐
Jay Kay几秒前
GVPO:Group Variance Policy Optimization
人工智能·算法·机器学习
风指引着方向11 分钟前
归约操作优化:ops-math 的 Sum/Mean/Max 实现
人工智能·wpf
机器之心11 分钟前
英伟达世界模型再进化,一个模型驱动所有机器人!机器人的GPT时刻真正到来
人工智能·openai
纯爱掌门人17 分钟前
终焉轮回里,藏着 AI 与人类的答案
前端·人工智能·aigc
人工智能AI技术21 分钟前
Transformer:大模型的“万能骨架”
人工智能
gpfyyds66621 分钟前
Python代码练习
开发语言·python
r i c k36 分钟前
数据库系统学习笔记
数据库·笔记·学习
野犬寒鸦1 小时前
从零起步学习JVM || 第一章:类加载器与双亲委派机制模型详解
java·jvm·数据库·后端·学习
cpp_25011 小时前
P10570 [JRKSJ R8] 网球
数据结构·c++·算法·题解
cpp_25011 小时前
P8377 [PFOI Round1] 暴龙的火锅
数据结构·c++·算法·题解·洛谷