(下一个更新)PATNAS: A Path-Based Training-Free NeuralArchitecture Search

摘要

评估网络架构的高成本阻碍了神经架构搜索 (NAS) 的发展。最近,提出了几种零成本代理,作为一种有前途的方法,以降低 NAS 中网络架构的评估成本。它们可以在初始阶段的几秒钟内快速估计网络的最终性能。然而,现有的零成本代理要么忽略了网络结构对性能的影响,要么仅限于特定任务。为了解决这些问题,我们提出了一种名为骨架路径核跟踪 (SPKT) 的新型零成本代理,它利用整个网络架构的骨架路径结构信息。然后,我们将其集成到名为 PATNAS 的有效 NAS 贝叶斯优化框架中,并证明其在不同数据集上的有效性。结果表明,我们提出的 SPKT 零成本代理可以在多个任务中与网络的最终性能实现高度相关。此外,它可以显著加快寻找最佳性能网络架构的搜索过程。

相关推荐
To_OC4 小时前
搞懂 Token 和 Embedding 后,我终于明白大模型是怎么 "读" 文字的
人工智能·llm·agent
冬奇Lab6 小时前
每日一个开源项目(第139篇):Voicebox - 本地运行的开源 ElevenLabs 替代品
人工智能·开源·资讯
冬奇Lab6 小时前
Skill 系列(03):Skill 设计范式——5 个模式让输出从混沌到可预测
人工智能·开源·agent
IT_陈寒8 小时前
Python搞不定字符串编码?这破玩意坑我两小时!
前端·人工智能·后端
大模型真好玩10 小时前
什么是Loop Engineering?最通俗易懂的Loop Engineering核心概念
人工智能·agent·deepseek
叁两10 小时前
前端转型AI Agent该如何学习?(前置篇)
前端·人工智能·node.js
LaiYoung_10 小时前
🎁 送你一套超好用超实用的 FE AI-Coding Skills
前端·人工智能·开源
ZzT13 小时前
怎么做才不会被 AI 替代?
人工智能·程序员
道友可好13 小时前
从今天开始:你的第一个 Harness Engineering 实践
前端·人工智能·后端