(下一个更新)PATNAS: A Path-Based Training-Free NeuralArchitecture Search

摘要

评估网络架构的高成本阻碍了神经架构搜索 (NAS) 的发展。最近,提出了几种零成本代理,作为一种有前途的方法,以降低 NAS 中网络架构的评估成本。它们可以在初始阶段的几秒钟内快速估计网络的最终性能。然而,现有的零成本代理要么忽略了网络结构对性能的影响,要么仅限于特定任务。为了解决这些问题,我们提出了一种名为骨架路径核跟踪 (SPKT) 的新型零成本代理,它利用整个网络架构的骨架路径结构信息。然后,我们将其集成到名为 PATNAS 的有效 NAS 贝叶斯优化框架中,并证明其在不同数据集上的有效性。结果表明,我们提出的 SPKT 零成本代理可以在多个任务中与网络的最终性能实现高度相关。此外,它可以显著加快寻找最佳性能网络架构的搜索过程。

相关推荐
算法_小学生9 分钟前
长短期记忆网络(LSTM)
人工智能·rnn·lstm
Virgil13912 分钟前
【TrOCR】模型预训练权重各个文件解读
人工智能·pytorch·计算机视觉·自然语言处理·ocr·transformer
MaxCode-115 分钟前
【机器学习 / 深度学习】基础教程
人工智能·深度学习·机器学习
先做个垃圾出来………20 分钟前
神经网络(Neural Network, NN)
人工智能·深度学习·神经网络
我希望的一路生花1 小时前
Nik Collection 6.2全新版Nik降噪锐化调色PS/LR插件
人工智能·计算机视觉·设计模式·stable diffusion·aigc
.银河系.2 小时前
819 机器学习-决策树2
人工智能·决策树·机器学习
AI扶我青云志4 小时前
Milvus 安装和启动指南
人工智能·云原生·eureka·大模型
一只齐刘海的猫5 小时前
部署Qwen2.5-VL-7B-Instruct-GPTQ-Int3
人工智能·多模态
朝日六六花_LOCK5 小时前
深度学习之NLP基础
人工智能·深度学习·自然语言处理
weixin_582470175 小时前
GS-IR:3D 高斯喷溅用于逆向渲染
人工智能·算法