【论文阅读】Explainable Early Stopping for Action Unit Recognition

在训练深度神经网络(DNN)时,避免过拟合的常见技术是在专用的验证数据分区上监控性能,并在性能饱和时停止训练。这种方法只关注模型的行为,而完全忽略了模型内部发生了什么。

在本文中,我们使用代数拓扑来分析DNN在训练AU识别时的功能图的拓扑结构。我们将标准的带耐心的早期停止(ESP)[1]与迄今为止提出的仅有的两种基于拓扑的早期停止算法进行比较,即拓扑早期停止(TES)[3]和通过神经持久性实现的早期停止(ESNP)[17]。

拓扑早期停止(TES)[3]和通过神经持久性实现的早期停止(ESNP)[17]。两者都使用代数拓扑(更具体地说是持久同调)来计算所谓的贝蒂数曲线,该曲线在基于分析网络定义的拓扑空间中计算不同尺度上的空腔数量。在训练期间的每个周期中计算这种网络拓扑度量,并用作早期停止的标准。ESNP计算贝蒂数曲线的积分,并在它饱和时停止。另一方面,TES观察贝蒂数曲线峰值的密度,并在它开始向更高密度方向后退时停止。

3\] Ciprian A Corneanu, Meysam Madadi, Sergio Escalera, and Aleix MMartinez. What does it mean to learn in deep networks? and, how does one detect adversarial attacks? In Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition, pages 4757--4766, 2019. \[17\] Bastian Rieck, Matteo Togninalli, Christian Bock, Michael Moor, MaxHorn, Thomas Gumbsch, and Karsten Borgwardt. Neural persistence:A complexity measure for deep neural networks using algebraic topology. arXiv preprint arXiv:1812.09764, 2018.

常规方法,计算两个神经元之间相关性,构造PD

DNN中的泛化学习通过在功能拓扑中创建一维、二维和三维空腔来定义,并且这些空腔从更高密度向更低密度移动[3]。过拟合表现为这些空腔在功能二元图中向更高密度回归。这一通用原则如图2(b)所示,是拓扑早期停止(TES)标准[3]的基础。在这里,我们将这一分析扩展到对象识别和标准网络架构之外

相关推荐
图灵学术计算机论文辅导6 小时前
提示+掩膜+注意力=Mamba三连击,跨模态任务全面超越
论文阅读·人工智能·经验分享·科技·深度学习·考研·计算机视觉
Mr Sorry6 小时前
TIME WEAVER: A Conditional Time Series Generation Model论文阅读笔记
论文阅读·笔记
有Li6 小时前
通过观看数百个外科手术视频课程来学习多模态表征|文献速递-医学影像算法文献分享
论文阅读·医学生
2301_803652748 小时前
RLHF-V原论文阅读
论文阅读
Johan song1 天前
AR-Align-NN-2024
论文阅读·论文笔记
图灵学术计算机论文辅导2 天前
1+1>2!特征融合如何让目标检测更懂 “场景”?
论文阅读·人工智能·经验分享·考研·机器学习·计算机视觉·目标跟踪
张较瘦_2 天前
[论文阅读] 人工智能 + 软件工程 | 增强RESTful API测试:针对MongoDB的搜索式模糊测试新方法
论文阅读·人工智能·软件工程
网安INF2 天前
【论文阅读】-《RayS: A Ray Searching Method for Hard-label Adversarial Attack》
论文阅读·人工智能·深度学习·计算机视觉·网络安全·对抗攻击
walnut_oyb2 天前
论文阅读|CVPR 2025|Mamba进一步研究|GroupMamba
论文阅读·人工智能·神经网络·计算机视觉·分类
行然梦实2 天前
论文阅读:《多目标和多目标优化的回顾与评估:方法和算法》
论文阅读·算法·机器学习·数学建模