(下一个更新)PATNAS: A Path-Based Training-Free NeuralArchitecture Search

摘要

评估网络架构的高成本阻碍了神经架构搜索 (NAS) 的发展。最近,提出了几种零成本代理,作为一种有前途的方法,以降低 NAS 中网络架构的评估成本。它们可以在初始阶段的几秒钟内快速估计网络的最终性能。然而,现有的零成本代理要么忽略了网络结构对性能的影响,要么仅限于特定任务。为了解决这些问题,我们提出了一种名为骨架路径核跟踪 (SPKT) 的新型零成本代理,它利用整个网络架构的骨架路径结构信息。然后,我们将其集成到名为 PATNAS 的有效 NAS 贝叶斯优化框架中,并证明其在不同数据集上的有效性。结果表明,我们提出的 SPKT 零成本代理可以在多个任务中与网络的最终性能实现高度相关。此外,它可以显著加快寻找最佳性能网络架构的搜索过程。

相关推荐
Wnq100721 天前
世界模型 AI:认知跃迁的可行性与本质性挑战
人工智能
穷人小水滴1 天前
科幻 「备用肉身虫」 系列设定集 (AI 摘要)
人工智能·aigc·科幻·未来·小说·设定
老赵聊算法、大模型备案1 天前
北京市生成式人工智能服务已备案信息公告(2025年12月11日)
人工智能·算法·安全·aigc
咬人喵喵1 天前
上下文窗口:AI 的“大脑容量”
人工智能
workflower1 天前
时序数据获取事件
开发语言·人工智能·python·深度学习·机器学习·结对编程
weixin_446122461 天前
一个案例验证 LLM大模型编码能力哪家强
人工智能
老蒋新思维1 天前
创客匠人峰会深度解析:知识变现的 “信任 - 效率” 双闭环 —— 从 “单次交易” 到 “终身复购” 的增长密码
大数据·网络·人工智能·tcp/ip·重构·数据挖掘·创客匠人
java1234_小锋1 天前
Transformer 大语言模型(LLM)基石 - Transformer架构详解 - 编码器(Encoder)详解以及算法实现
深度学习·语言模型·transformer
大刘讲IT1 天前
面向中小企业的企业AI Agent未来3年构建蓝图规划
人工智能·经验分享·ai·开源·制造
yzx9910131 天前
深度学习的进化之路:从感知机到通用智能的曙光
人工智能·深度学习