(下一个更新)PATNAS: A Path-Based Training-Free NeuralArchitecture Search

摘要

评估网络架构的高成本阻碍了神经架构搜索 (NAS) 的发展。最近,提出了几种零成本代理,作为一种有前途的方法,以降低 NAS 中网络架构的评估成本。它们可以在初始阶段的几秒钟内快速估计网络的最终性能。然而,现有的零成本代理要么忽略了网络结构对性能的影响,要么仅限于特定任务。为了解决这些问题,我们提出了一种名为骨架路径核跟踪 (SPKT) 的新型零成本代理,它利用整个网络架构的骨架路径结构信息。然后,我们将其集成到名为 PATNAS 的有效 NAS 贝叶斯优化框架中,并证明其在不同数据集上的有效性。结果表明,我们提出的 SPKT 零成本代理可以在多个任务中与网络的最终性能实现高度相关。此外,它可以显著加快寻找最佳性能网络架构的搜索过程。

相关推荐
asdfg125896310 分钟前
训练神经网络的原理(前向传播、反向传播、优化、迭代)
深度学习·神经网络·机器学习
AmazingKO36 分钟前
制作像素风《饥荒》类游戏的整体蓝图和流程
人工智能·python·游戏·docker·visual studio code·竹相左边
CV-杨帆38 分钟前
trl的安装与单GPU多GPU测试
人工智能
_一条咸鱼_1 小时前
AI 大模型的 Prompt Engineering 原理
人工智能·深度学习·面试
huang_xiaoen1 小时前
试一下阿里云新出的mcp服务
人工智能·阿里云·ai·云计算·mcp
Jamence2 小时前
多模态大语言模型arxiv论文略读(二十一)
人工智能·语言模型·自然语言处理
小白学C++.2 小时前
大模型论文:Language Models are Unsupervised Multitask Learners(GPT2)
人工智能·语言模型·自然语言处理
Steve lu2 小时前
PyTorch逻辑回归总结
人工智能·pytorch·python·深度学习·逻辑回归·原力计划
Steve lu2 小时前
pytorch实现逻辑回归
人工智能·pytorch·python·深度学习·机器学习·自然语言处理·逻辑回归
xcSpark2 小时前
Python基础入门(二)
开发语言·人工智能·python