(下一个更新)PATNAS: A Path-Based Training-Free NeuralArchitecture Search

摘要

评估网络架构的高成本阻碍了神经架构搜索 (NAS) 的发展。最近,提出了几种零成本代理,作为一种有前途的方法,以降低 NAS 中网络架构的评估成本。它们可以在初始阶段的几秒钟内快速估计网络的最终性能。然而,现有的零成本代理要么忽略了网络结构对性能的影响,要么仅限于特定任务。为了解决这些问题,我们提出了一种名为骨架路径核跟踪 (SPKT) 的新型零成本代理,它利用整个网络架构的骨架路径结构信息。然后,我们将其集成到名为 PATNAS 的有效 NAS 贝叶斯优化框架中,并证明其在不同数据集上的有效性。结果表明,我们提出的 SPKT 零成本代理可以在多个任务中与网络的最终性能实现高度相关。此外,它可以显著加快寻找最佳性能网络架构的搜索过程。

相关推荐
栀子清茶9 分钟前
Towards Universal Soccer Video Understanding——论文学习(足球类)
论文阅读·人工智能·深度学习·学习·算法·计算机视觉·论文笔记
没学上了13 分钟前
pytorch中的基础数据集
深度学习·yolo·计算机视觉
小诸葛IT课堂28 分钟前
PyTorch 生态概览:为什么选择动态计算图框架?
人工智能·pytorch·python
雅菲奥朗40 分钟前
4大观点直面呈现|直播回顾-DeepSeek时代的AI算力管理
人工智能·ai算力·deepseek
程序员JerrySUN1 小时前
深入解析 TensorFlow 兼容性问题及构建输出文件结构*
人工智能·tensorflow·neo4j
ruokkk1 小时前
搭建一个声纹识别系统
人工智能
kula7751 小时前
Trae,国产首款AI编程IDE初体验
人工智能
moonless02221 小时前
【AI】MercuryCoder与LLaDA? 自回归模型与扩散模型的碰撞,谁才是未来的LLM答案?
人工智能·llm
吾名招财1 小时前
pytorch快速入门——手写数字分类GPU加速
人工智能·pytorch·分类
天天向上杰1 小时前
地基Prompt提示常用方式
人工智能·prompt·提示词