(下一个更新)PATNAS: A Path-Based Training-Free NeuralArchitecture Search

摘要

评估网络架构的高成本阻碍了神经架构搜索 (NAS) 的发展。最近,提出了几种零成本代理,作为一种有前途的方法,以降低 NAS 中网络架构的评估成本。它们可以在初始阶段的几秒钟内快速估计网络的最终性能。然而,现有的零成本代理要么忽略了网络结构对性能的影响,要么仅限于特定任务。为了解决这些问题,我们提出了一种名为骨架路径核跟踪 (SPKT) 的新型零成本代理,它利用整个网络架构的骨架路径结构信息。然后,我们将其集成到名为 PATNAS 的有效 NAS 贝叶斯优化框架中,并证明其在不同数据集上的有效性。结果表明,我们提出的 SPKT 零成本代理可以在多个任务中与网络的最终性能实现高度相关。此外,它可以显著加快寻找最佳性能网络架构的搜索过程。

相关推荐
池央41 分钟前
调用蓝耘API打造AI 智能客服系统实践教程
人工智能
西猫雷婶1 小时前
深度学习|pytorch基本运算-hadamard积、点积和矩阵乘法
pytorch·深度学习·矩阵
TomatoSCI1 小时前
TomatoSCI数据分析实战:探索社交媒体成瘾
人工智能·机器学习
stay night483 小时前
DAY40 训练和测试
人工智能·深度学习
SSH_55234 小时前
【大模型】情绪对话模型项目研发
人工智能·python·语言模型
love530love4 小时前
【笔记】在 MSYS2(MINGW64)中安装 python-maturin 的记录
运维·开发语言·人工智能·windows·笔记·python
清醒的兰4 小时前
OpenCV 图像像素的算术操作
人工智能·opencv·计算机视觉
拾忆-eleven5 小时前
NLP学习路线图(十四):词袋模型(Bag of Words)
人工智能·学习·自然语言处理·nlp
sbc-study5 小时前
精英-探索双群协同优化(Elite-Exploration Dual Swarm Cooperative Optimization, EEDSCO)
人工智能
白熊1885 小时前
【机器学习基础】机器学习入门核心算法:XGBoost 和 LightGBM
人工智能·算法·机器学习