[智能算法]可微的神经网络搜索算法-FBNet

一、概述

相较于基于强化学习的NAS,可微NAS能直接使用梯度下降更新模型结构超参数,其中较为有名的算法就是DARTS,其具体做法如下。

首先,用户需要定义一些**候选模块,**这些模块内部结构可以互不相同(如设置不同种类和数量的卷积,使用不同种类的连接结构等);其次,用户也需要指定神经网络的层数,每一层由候选模块的其中之一构成。

由于搜索空间 =(其中为候选模块种类,为预先指定的神经网络层数)巨大,为了从庞大的搜索空间中找到合适的结构,需要引入superNet

二、SuperNet

以下内容均基于论文:FBNethttps://openaccess.thecvf.com/content_CVPR_2019/papers/Wu_FBNet_Hardware-Aware_Efficient_ConvNet_Design_via_Differentiable_Neural_Architecture_Search_CVPR_2019_paper.pdf

2.1模型结构

这里以SuperNet 中的某一层为例,设置候选模块一共9种,这层superNet由9种不同的模块并联而成。输入向量在候选模块处理后分别得到9个向量,这个处理过程记作:,其中为模块中的权重。将这些向量进行加权求和,这些权重记作,所有之和为1(由softmax计算得到),权重就是模型要学习的神经网络结构超参数

通过堆叠上述模块,组成一个完整的superNet,经过训练,每一层最终会保留一个模块。

2.2训练

将superNet的候选模块一共9个,记作;设superNet一共20层,记作;得第层中第个模块的参数记作,故,这两个即为需要训练并学习的参数。superNet做出的预测记作

交叉熵损失函数可以写作,在这个损失函数中,由于是关于的函数,且两者可微,故损失函数能通过传递给,所以可以直接使用反向梯度传播更新模型。

基于学习到的,我们可以计算出superNet中没一层中每个模块的权重 ,对于每层而言,选取其中权重最大的模块作为该层的结构,这些模块串联即可得到整个模型的结构,如下图所示。

三、使用额外的性能指标优化superNet

以应用于移动设备的轻量化神经网络举例,这类神经网络由于需要考虑移动设备的算力限制,往往需要延迟(latency,推理时间)越小越好。

可以事先测量每个候选模块的平均延迟,计算这一层中每个模块的延迟加权平均,如下图所示。

将20层网络中的延迟求和,得到:,其中的定义在2.2节中已经给出,可以进一步记作,其中的为计算得到的常数。

损失函数为:,其中可以决定牺牲多少准确率来换取计算速度。

另外也可以使用,作为损失函数,效果和上式相同。

相关推荐
百锦再13 分钟前
Python、Java与Go:AI大模型时代的语言抉择
java·前端·vue.js·人工智能·python·go·1024程序员节
IT_陈寒15 分钟前
Vite 3.0终极提速指南:5个鲜为人知的配置技巧让构建效率翻倍
前端·人工智能·后端
深蓝岛26 分钟前
LSTM与CNN融合建模的创新技术路径
论文阅读·人工智能·深度学习·机器学习·lstm
路人与大师27 分钟前
如何快速将普通电脑改造为深度学习工作站
人工智能·深度学习·电脑
天地之于壹炁兮35 分钟前
神经网络进化史:从理论到变革
人工智能·rnn·深度学习·transformer
东经116度42 分钟前
深度学习优化器详解
人工智能·深度学习·优化器·adam·adagrad·动量优化器·rmsprop
CoovallyAIHub1 小时前
智能“下沉”:边缘AI,更低功耗、更快响应、更强隐私,YOLO26只是开始
深度学习·算法·计算机视觉
草明1 小时前
HBM = High Bandwidth Memory(高带宽显存)
人工智能
whaosoft-1431 小时前
51c大模型~合集33
人工智能