部署日志2025.12.15

1.迭代与周期

迭代不代表周期。

2.curriculum监督

2.1 伪标签

伪标签Pseudo-Labeling (PL)是半监督学习中常用的方法,核心思路是 "用已训练的模型给未标记数据'贴标签',再用这些'伪标签数据 + 真实标签数据'一起训练模型"

使用伪标签训练步骤: 1)用少量真实标记数据 (比如 10% 带标签的图像)训练一个初始模型称 为 "教师模型" 。2)用这个初始模型对大量未标记数据(比如 90% 无标签的图像预 测,将 "预测概率最高的类别" 作为这些未标记数据的 "伪标签"。3)把 "真实标签数据 + 筛选后的高置信度伪标签数据" 混合,重新训练模型(更新模型参数),完成一个 "自训练周期"。4)重复步骤 2-3:用新训练的模型再生成一批伪标签,继续混合训练,直到模型性能稳定。

伪标签训练缺点: 若初始模型有偏差(比如对 "狗" 的预测准确率低),生成的伪标签会带有错误;而后续训练又用这些错误伪标签更新参数,会导致偏差不断累积------ 这就是下文要提的 "概念漂移"。

2.1 课程标签curriculum labeling(CL)

两大特点从训练方式上解决之前伪标签训练遇到的"一错再错问题",分别为:

1)课程学习原则: 模仿人类 "从易到难" 的学习逻辑,先让模型用 "简单的未标记数据" (即模型预测置信度极高、几乎不会错的数据,比如预测 "猫" 概率 99% 的数据)生成伪标签并训练;随着模型能力提升,再逐步引入 "较难的未标记数据"(比如预测置信度 85% 的数据),减少错误伪标签的干扰。

2)周期前参数重启 :每次开始新的自训练周期前,不沿用上个周期训练后的模型参数 ,而是重新加载 "初始模型的参数"(或基于真实标签数据重新训练一个干净的初始模型),再用这个 "无偏差的初始模型" 去生成当前周期的伪标签,之后结合 "课程学习" 筛选数据并训练。

3.启用梯度检查点(Gradient Checkpointing)

解决问题:GPU训练使用显存过大

问题产生原因: 当模型极深(比如 GPT-3、ViT-L)或批次量很大时,前向传播会产生海量中间激活值 ,这些数据会占满 GPU 显存,导致训练中断(报 OOM 错误)。而梯度检查点的核心就是 "牺牲少量计算时间,换取显存空间"。

使用步骤:不保存所有中间激活值,只选择性保存部分 "检查点" 位置的激活值;反向传播时,对非检查点的层,重新计算其激活值,而非直接读取显存中的缓存。

示例:

4.训练模型输出图片偏黄/偏绿

问题示例:

问题分析原因 :核心是图像数据的归一化 / 反归一化逻辑错误 、颜色通道处理不当 或模型训练偏差导致的像素值分布异常。

**解决方法:**1. 自动检测归一化范围并正确反归一化(-1,1/0,1/0,255)

  1. BGR→RGB 通道转换

  2. 添加通道均衡损失约束颜色分布

  3. 禁用插值缩放,使用原始图像尺寸保存

相关推荐
锋行天下18 分钟前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩23 分钟前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
FengY_HYY43 分钟前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm
Flynn Liang1 小时前
大模型成本优化:基于 Redis 的可验证语义缓存架构
人工智能·redis·缓存·架构·ai agent·智能体
锋行天下1 小时前
langgraph全栈项目(一)
前端·人工智能·后端
程序员cxuan1 小时前
不得了,Google 造反了,Opus 5.5 又被干了
人工智能·后端·程序员
数字新视界2 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
郝学胜-神的一滴2 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Frag0ut3 小时前
Chrome 2026浏览器AI助手全攻略:智能问答与内容创作实战进阶指南
人工智能·chrome·ai助手·本地大模型·浏览器ai·网页智能总结·侧边栏ai