NADAR: Neural Architecture Dilation for Adversarial Robustness

NADAR: 对抗鲁棒性的网络架构扩展

Abstract

在过去的几十年里，卷积神经网络(CNN)在架构和规模上取得了巨大的进步，在某些任务中，它们可以很容易地达到甚至超过人类的表现。然而，最近发现CNN的一个缺点是容易受到对抗性攻击。虽然CNN的对抗鲁棒性可以通过对抗训练来提高，但在标准精度和对抗鲁棒性之间存在权衡。从神经结构的角度，本文旨在提高具有满意精度的骨干CNN的对抗鲁棒性。在最小的计算开销下，扩展架构的引入有望与骨干CNN的标准性能友好，同时追求对抗性的鲁棒性。对标准和对抗性误差边界的理论分析自然地激发了所提出的神经结构扩展算法。在真实数据集和基准神经网络上的实验结果证明了该算法在平衡准确性和对抗鲁棒性方面的有效性。

1 Introduction

在过去的几十年里，新颖的架构设计和网络规模扩展在卷积神经网络(CNN)的发展中取得了显著的成功[14,15,13,23,11,30]。这些先进的神经网络在某些任务中已经可以达到甚至超过人类的表现[12,21]。尽管CNN取得了成功，但最近发现的一个缺点是，它们很容易受到对抗性攻击。当应用于图像时，巧妙设计的小扰动可能会误导网络预测输入的错误标签[9]。该漏洞显著降低了CNN在实际应用中的可靠性。因此，开发解决方案以增加CNN对对抗性攻击的对抗性鲁棒性引起了研究人员的特别关注。

对抗性训练可以是最标准的防御方法，它通过对抗性示例来增强训练数据。这些对抗性示例通常由快速梯度符号法(FGSM)[9]或投影梯度下降法(PGD)[18]生成。Tramèr等人[24]研究了许多预训练模型产生的对抗示例，并开发了一种集成对抗训练。Wong和Kolter[27]关注凸外区域上的最坏情况损失，引入了一个可证明的鲁棒模型。PGD对抗训练技术有更多的改进，包括Lipschitz正则化[7]和课程对抗训练[3]。在齐普拉斯等人最近的一项研究中[25]，在标准准确性和对抗性鲁棒性之间存在权衡。在对网络进行防御对抗性攻击的训练后，它们在自然图像分类上的表现可能会受到负面影响。TRADES[31]通过在自然(即标准)误差和鲁棒误差之间引入边界误差，从理论上研究了这种权衡。友好对抗训练(FAT)[32]没有直接调整权衡，而是提出利用弱对抗示例来略微降低标准准确率。

通过精心设计网络的各种训练目标函数，为防御对抗性攻击做出了许多努力。但很少有人注意到的是，神经结构实际上限制了网络的性能。最近有一些尝试从体系结构的角度来分析神经网络的对抗鲁棒性。例如RACL[6]在单次NAS中对架构参数施加Lipschitz约束，降低Lipschitz常数，提高鲁棒性。RobNet[10]直接通过对抗性训练来搜索对抗鲁棒性网络架构。尽管有这些研究，从体系结构的角度对准确性和鲁棒性权衡的更深入的理解仍然在很大程度上缺失。

在本文中，我们着重从体系结构的角度设计足以进行标准和对抗分类的神经网络。我们提出了对抗鲁棒性(NADAR)的神经结构扩展。从具有令人满意的自然数据精度的骨干网络开始，我们寻找一种扩展架构，以追求最大的鲁棒性增益，同时保持最小的精度下降。此外，我们还采用了FLOPs感知的方法对体系结构进行优化，避免了体系结构过多地增加网络的计算成本。从理论上分析了扩展框架，证明了约束优化目标可以有效地实现我们的动机。在基准数据集上的实验结果证明了从体系结构的角度研究对抗鲁棒性的重要性和所提算法的有效性。

2.1 对抗性训练

FGSM[9]认为神经网络的对抗性脆弱性与其线性特性有关，而不是之前认为的非线性和过拟合。从这种角度出发，提出了一种生成对抗性训练样本的方法，以减少对抗性误差。PGD[18]从鲁棒优化的角度研究对抗鲁棒性。提出了一种基于一阶梯度的迭代对抗算法。FreeAT[22]减少了生成对抗性示例的计算开销。利用网络训练中的梯度信息循环生成对抗训练。通过这种梯度重用，它实现了7到30倍的加速。

然而，这种对抗性的鲁棒性是有代价的。齐普拉斯等人[25]表明，由于最优标准和最优鲁棒分类器学习到的特征之间存在差异，因此在标准精度和对抗鲁棒性之间存在权衡。TRADES[31]从理论上分析了这种权衡。在标准错误和对抗性错误之间确定了边界错误，以指导对抗性攻击的防御设计。作为一种解决方案，在他们的框架中引入了一个调和参数λ来调整权衡。友好对抗性训练(FAT)[32]生成的弱对抗性示例满足最小损失边际。选择分类损失最小的误分类样本进行对抗性训练。

2.2 网络架构搜索

NAS旨在为网络自动设计神经架构。早期的NAS方法[2,33,16,19]是计算密集型的，由于需要对大量架构进行训练和评估，需要数百或数千个GPU小时。最近，可微和one-shot NAS方法Liu等[17]和Xu等[29]提出构建one-shot 超网络，并采用梯度下降法优化体系结构参数，大大降低了计算开销。可微网络架构搜索允许使用梯度下降对模型权值和结构参数进行联合可微优化。由于多体系结构的并行训练，DARTS消耗大量内存。后续的一些工作旨在降低存储成本，提高NAS的效率。其中一种引人注目的方法是PC-DARTS[29]。它利用部分通道连接技术，其中中间特征的子通道被采样处理。因此，降低了内存使用和计算成本。

在优化神经结构时考虑对抗性攻击可以帮助设计出固有抵抗对抗性攻击的网络。RACL[6]在可微one-shot NAS中对结构参数施加约束以降低Lipschitz常数。先前的研究[4,26]表明，较小的Lipschitz常数总是对应于更鲁棒的网络。因此，通过约束其Lipschitz常数来提高神经结构的鲁棒性是有效的。RobNet[10]通过PGD的对抗性训练直接优化了体系结构。

3 Methodology

对抗性训练可以看作是一个极大极小问题，产生对抗性扰动，通过使分类损失最大化来攻击网络，并对网络进行优化以防御这种攻击：
min ⁡ f E ( x , y ) ∼ D [ max ⁡ x ′ ∈ B p ( x , ε ) ℓ ( y , f ( x ′ ) ) ] , (1) \min_{f}\mathbb{E}{(\boldsymbol{x},y)\sim\mathcal{D}}\begin{bmatrix}\max{\boldsymbol{x}^{\prime}\in B_{p}(\boldsymbol{x},\boldsymbol{\varepsilon})}\ell(y,f(\boldsymbol{x}^{\prime}))\end{bmatrix}, \tag{1} fminE(x,y)∼D[maxx′∈Bp(x,ε)ℓ(y,f(x′))],(1)

式中， D \mathcal{D} D为自然样例 x x x和标签 y y y的分布， B p ( x , ε ) = { x ′ : ∥ x − x ′ ∥ p ≤ ε } B_p(\boldsymbol{x},\varepsilon)=\{\boldsymbol{x}^{\prime}:\|\boldsymbol{x}-\boldsymbol{x}^{\prime}\|_p\leq\varepsilon\} Bp(x,ε)={x′:∥x−x′∥p≤ε}定义了 l p l_p lp归一化下小扰动尺度 ε \varepsilon ε内允许的对抗样例集合 x ′ x^{\prime} x′， f f f为受攻击的网络。

3.1 鲁棒架构扩展

研究表明，深度神经网络的能力对其对抗鲁棒性至关重要。Madry等人[18]发现容量在对抗鲁棒性中起着重要作用，网络需要比标准任务更大的对抗能力。Tsipras等人[25]认为，标准任务的简单分类器在对抗性任务上无法达到良好的性能。然而，使用最小的网络容量增加来换取对抗鲁棒性仍然是一个悬而未决的问题。

假设我们有一个骨干网 f b f_b fb，它可以在自然数据上达到令人满意的精度。为了在不损害标准精度的情况下增强其对抗鲁棒性，我们提出通过用网络 f d f_d fd扩展该骨干网络 f b f_b fb来增加其容量，该网络 f d f_d fd的结构和参数将在对抗训练中进行优化。

骨干网络 f b f_b fb被分割成块。块 f b ( l ) f_b^{(l)} fb(l)定义为骨干中具有相同分辨率的连续层的集合。对于具有 L L L块的主干，即 f b = { f b ( l ) , l ∈ 1 , ... , L } f_b=\{f_b^{(l)},l\in1,\ldots,L\} fb={fb(l),l∈1,...,L}，我们将扩展网络的单元 f d ( l ) f_{d}^{( l) } fd(l)连接到每个块 f b ( l ) f_{b}^{( l) } fb(l)上。因此，扩展网络也有 L L L个单元，即 $f_{d}= { f_{d}\^{( l) }, l\\in 1, \\ldots , L}$ 。对于扩展架构，我们在类似NASNet[33]的搜索空间中搜索单元。在类似NASNet的搜索空间中，每个单元都将之前的两个输出作为输入。骨干网和扩展网通过元素和进一步聚合。NADAR混合网络的总体结构如图1所示。形式上，对抗性训练的混合网络定义为：
f h y b ( x ) = h ( ⊙ l = 1 , ... , L ( f b ( l ) ( z h y b ( l − 1 ) ) + f d ( l ) ( z h y b ( l − 1 ) , z h y b ( l − 2 ) ) ) ) , (2) f_{\mathrm{hyb}}(\boldsymbol{x})=h\left(\odot_{l=1,\ldots,L}\left(f_{b}^{(l)}(\boldsymbol{z}{\mathrm{hyb}}^{(l-1)})+f{d}^{(l)}(\boldsymbol{z}{\mathrm{hyb}}^{(l-1)},\boldsymbol{z}{\mathrm{hyb}}^{(l-2)})\right)\right), \tag{2} fhyb(x)=h(⊙l=1,...,L(fb(l)(zhyb(l−1))+fd(l)(zhyb(l−1),zhyb(l−2)))),(2)

式中 z h y b ( l ) = f b ( l ) ( z h y b ( l − 1 ) ) + f d ( l ) ( z h y b ( l − 1 ) , z h y b ( l − 2 ) ) z_\mathrm{hyb}^{(l)}=f_{b}^{(l)}(z_{\mathrm{hyb}}^{(l-1)})+f_{d}^{(l)}(z_{\mathrm{hyb}}^{(l-1)},z_{\mathrm{hyb}}^{(l-2)}) zhyb(l)=fb(l)(zhyb(l−1))+fd(l)(zhyb(l−1),zhyb(l−2))是由主干块和扩展块提取的潜在特征， ⊙ \odot ⊙表示功能组成。我们还定义了一个分类假设 h : z h y b ( L ) → y ^ h:z_\mathrm{hyb}^{(L)}\to\hat{y} h:zhyb(L)→y^，其中 z h y b ( L ) z_\mathrm{hyb}^{(L)} zhyb(L)是最后一个卷积层 L L L提取的潜在表示， y ^ \hat{y} y^是预测标签。

在搜索过程中，骨干网络 f b f_b fb具有固定的结构，用网络权值 θ b θ_b θb进行参数化。扩展网络 f d f_d fd不仅用网络权值 θ d θ_d θd来参数化，而且用结构参数 α d α_d αd来参数化。鲁棒结构扩展的目标是使 α d α_d αd达到最小的对抗损失：
min ⁡ α d L v a l i d ( a d v ) ( f h y b ; θ d ∗ ( α d ) ) , s . t . θ d ∗ ( α d ) = argmin ⁡ θ d L t r a i n ( a d v ) ( f h y b ) , \begin{align}&\operatorname*{min}{\alpha{d}}\quad\mathcal{L}{\mathrm{valid}}^{(\mathrm{adv})}(f{\mathrm{hyb}};\boldsymbol{\theta}{d}^{*}(\boldsymbol{\alpha}{d})),\tag{3}\\ &\mathbf{s.t.}\quad\boldsymbol{\theta}{d}^{*}(\boldsymbol{\alpha}{d})=\operatorname*{argmin}{\boldsymbol{\theta}{d}}\mathcal{L}{\mathbf{train}}^{(\mathbf{adv})}(f{\mathbf{hyb}}),\tag{4}\\ \end{align} αdminLvalid(adv)(fhyb;θd∗(αd)),s.t.θd∗(αd)=θdargminLtrain(adv)(fhyb),(3)(4)

其中 L t r a i n ( a d v ) ( f h y b ) \mathcal{L} {\mathrm{train}}^{( \mathrm{adv}) }( f{\mathrm{hyb}}) Ltrain(adv)(fhyb)和 L v a l i d ( a d v ) ( f h y b ; θ d ∗ ( α d ) ) \mathcal{L} {\mathrm{valid}}^{( \mathrm{adv}) }( f{\mathrm{hyb}}; \boldsymbol{\theta }{d}^{* }( \boldsymbol{\alpha }{d}) ) Lvalid(adv)(fhyb;θd∗(αd))是 f h y b f_{\mathrm{hyb}} fhyb的对抗性损失(形式为公式1)分别对训练集 D train \mathcal{D}\text{train} Dtrain和验证集 D valid \mathcal{D}\text{valid} Dvalid， θ d ∗ ( α d ) \boldsymbol{\theta}_d^*(\boldsymbol{\alpha}_d) θd∗(αd)是依赖于当前扩展结构 α d \alpha_d αd的 f d f_d fd的最优网络权值。

3.2 标准性能约束

现有的对抗鲁棒性研究往往是固定网络容量，对抗鲁棒性的提高伴随着标准精度的下降[25,31]。然而，在这项工作中，我们通过扩展来增加容量，这使我们能够在保持具有竞争力的标准精度的同时提高鲁棒性。我们通过对扩展架构的标准性能约束来达到这个目标。该约束是通过比较混合网络 f h y b f_{\mathrm{hyb}} fhyb的标准性能和骨干网的标准性能来实现的。我们仅用 f b a c k f_{back} fback表示使用骨干网的网络，其形式定义为：
f b c k ( x ) = h ( ⊙ l = 1 , . . . , L f b ( l ) ( z b c k ( l − 1 ) ) ) , (5) f_{\mathrm{bck}}(\boldsymbol{x})=h\left(\odot_{l=1,...,L}f_{b}^{(l)}\left(\boldsymbol{z}_{\mathrm{bck}}^{(l-1)}\right)\right), \tag{5} fbck(x)=h(⊙l=1,...,Lfb(l)(zbck(l−1))),(5)

其中 z b c k ( l ) = f b ( l ) ( z b c k ( l − 1 ) ) z_\mathrm{bck}^{(l)}=f_{b}^{(l)}(z_\mathrm{bck}^{(l-1)}) zbck(l)=fb(l)(zbck(l−1))为骨干块提取的潜在特征。标准模型采用自然例子进行优化：
min ⁡ θ b L ( s t d ) ( f b c k ) = E ( x , y ) ∼ D [ ℓ ( f b c k ( y , x ) ) ] . (6) \begin{aligned}&\min_{\boldsymbol{\theta}{b}}\quad\mathcal{L}^{(\mathbf{std})}(f{\mathbf{bck}})=\mathbb{E}{(\boldsymbol{x},y)\sim\mathcal{D}}\left[\ell(f{\mathbf{bck}}(y,\boldsymbol{x}))\right].\end{aligned} \tag{6} θbminL(std)(fbck)=E(x,y)∼D[ℓ(fbck(y,x))].(6)

其中 L ( s t d ) \mathcal{L}^{(\mathrm{std})} L(std)为标准损失。同样，我们可以定义混合网络 f h y b f_\mathrm{hyb} fhyb的标准损失 L ( s t d ) ( f hyb ) \mathcal{L}^{(std)} ( f_\textbf{hyb}) L(std)(fhyb)。这样，我们就可以通过两种网络的损失差进行比较，并约束混合网络的标准损失等于或低于标准网络的标准损失：
L ( s t d ) ( f h y b ) − L ( s t d ) ( f b c k ) ≤ 0. (7) \mathcal{L}^{(\mathrm{std})}(f_{\mathrm{hyb}})-\mathcal{L}^{(\mathrm{std})}(f_{\mathrm{bck}})\leq0. \tag{7} L(std)(fhyb)−L(std)(fbck)≤0.(7)

我们没有直接在标准任务上优化扩展架构，因为它是为了捕捉标准任务和对抗任务之间的差异而引入的，以提高标准训练主干的鲁棒性。没有必要让骨干网和扩展网都学习标准任务。

3.3 支持FLOPs的架构优化

通过扩大网络容量，可以提高鲁棒性，但缺点是增加了模型大小和计算成本。我们希望以最低的计算开销获得最大的鲁棒性改进。因此，对结构搜索应用了计算预算约束。由于我们不针对任何特定的平台，因此我们考虑的是架构中的浮点运算(FLOPs)数量，而不是推理延迟。FLOPs是通过计算网络中多次加法操作的次数来计算的。

我们用一种可微的方式来优化扩展架构。在可微NAS中，构造了一个有向无环图(DAG)作为超网络，其中节点是潜在表示，边是操作。鉴于对抗性训练计算量大，为了降低搜索成本，采用Xu等[29]提出的部分通道连接技术。

在搜索过程中，用结构参数 α α α的softmax分布对每条边的候选操作进行加权求和：
o ˉ ( i , j ) ( x i ) = ( 1 − S i , j ) ∗ x i + ∑ o ∈ O ( exp ⁡ ( α i , j ( o ) ) ∑ o ′ ∈ O exp ⁡ ( α i , j ( o ′ ) ) ⋅ o ( S i , j ∗ x i ) ) , (8) \bar{o}^{(i,j)}(\boldsymbol{x}{i})=(1-S{i,j})*\boldsymbol{x}{i}+\sum{o\in\mathcal{O}}\left(\frac{\exp(\boldsymbol{\alpha}{i,j}^{(o)})}{\sum{o'\in\mathcal{O}}\exp(\boldsymbol{\alpha}{i,j}^{(o')})}\cdot o(S{i,j}*\boldsymbol{x}_{i})\right), \tag{8} oˉ(i,j)(xi)=(1−Si,j)∗xi+o∈O∑(∑o′∈Oexp(αi,j(o′))exp(αi,j(o))⋅o(Si,j∗xi)),(8)

式中， O \mathcal{O} O为操作候选集合， x i \boldsymbol{x}i xi为第 i i i个节点的输出， S i , j S_i,j Si,j为边缘 ( i , j ) (i,j) (i,j)用于部分通道连接。将二进制掩码 S i , j S{i,j} Si,j设置为1或0，分别使通道被选择或绕过。除了结构参数 α \alpha α外，部分通道连接技术还引入了边缘归一化权值 β \beta β：
I ( j ) = ∑ i < j ( exp ⁡ ( β i , j ) ∑ i < j exp ⁡ ( β i ′ , j ) ⋅ o ˉ ( i , j ) ( x i ) ) , (9) \boldsymbol{I}^{(j)}=\sum_{i<j}\left(\frac{\exp(\boldsymbol{\beta}{i,j})}{\sum{i<j}\exp(\boldsymbol{\beta}{i^{\prime},j})}\cdot\bar{o}^{(i,j)}(\boldsymbol{x}{i})\right), \tag{9} I(j)=i<j∑(∑i<jexp(βi′,j)exp(βi,j)⋅oˉ(i,j)(xi)),(9)

其中 I ( j ) \boldsymbol{I}^{(j)} I(j)是第 j j j个节点。边缘归一化可以通过减少搜索后边缘选择的波动来稳定可微NAS。

考虑公式8和公式9，最后得到的one-shot超网络离散架构的FLOPs可以根据 α α α和 β β β来估计。我们计算了公式8和9中具有相同softmax分布的候选操作的FLOPs的加权和，这自然会导致期望。因此，节点 I ( j ) \boldsymbol{I}^{(j)} I(j)的期望FLOPs可以计算为：
F L O P s ( I ( j ) ) = ∑ i < j exp ⁡ ( β i , j ) ∑ i ′ < j exp ⁡ ( β i ′ , j ) ⋅ ∑ o ∈ O exp ⁡ ( α i , j ( o ) ) ∑ o ′ ∈ O exp ⁡ ( α i , j ( o ′ ) ) ⋅ F L O P s ( o ) . (10) \mathrm{FLOPs}(\boldsymbol{I}^{(j)})=\sum_{i<j}\frac{\exp(\boldsymbol{\beta}{i,j})}{\sum{i^{\prime}<j}\exp(\boldsymbol{\beta}{i^{\prime},j})}\cdot\sum{o\in\mathcal{O}}\frac{\exp(\boldsymbol{\alpha}{i,j}^{(o)})}{\sum{o^{\prime}\in\mathcal{O}}\exp(\boldsymbol{\alpha}_{i,j}^{(o^{\prime})})}\cdot\mathrm{FLOPs}(o). \tag{10} FLOPs(I(j))=i<j∑∑i′<jexp(βi′,j)exp(βi,j)⋅o∈O∑∑o′∈Oexp(αi,j(o′))exp(αi,j(o))⋅FLOPs(o).(10)

然后，通过计算所有节点和单元的FLOPs之和，可以估计出扩展网络FLOPs( f d f_d fd)的FLOPs。将公式3中的目标函数用FLOPs约束改写为：
min ⁡ α d γ log ⁡ ( FLOPs ( f d ) ) τ ⋅ L valid ( adv ) ( f hyb ) , (11) \min_{\alpha_d}\quad\gamma\log(\text{FLOPs}(f_d))^\tau\cdot\mathcal{L}{\text{valid}}^{(\text{adv})}(f{\text{hyb}}), \tag{11} αdminγlog(FLOPs(fd))τ⋅Lvalid(adv)(fhyb),(11)

其中 γ γ γ和 τ τ τ是两个系数项。 τ τ τ控制目标函数对FLOPs约束的灵敏度， γ γ γ将约束缩放到一个合理的范围(例如约1.0)。

3.4 优化

我们将公式3和公式4中定义的双层形式优化问题重新表述为约束优化形式。结合公式7中的标准性能约束和公式11中的FLOP支持目标，我们有
min ⁡ α d γ log ⁡ ( F L O P s ( f d ) ) τ ⋅ L v a l i d ( a d v ) ( f h y b ; θ d ∗ ( α d ) ) , s . t . L v a l i d ( s t a ) ( f h y b ) − L v a l i d ( s t a ) ( f b c k ) ≤ 0 , θ d ∗ ( α d ) = argmin ⁡ θ L t r a i n ( a t a ) ( f h y b ) , s . t . L t r a i n ( s t a ) ( f h y b ) − L t r a i n ( s t a ) ( f b c k ) ≤ 0. \begin{align} &\operatorname*{min}{\boldsymbol{\alpha}{d}}\quad\gamma\log(\mathrm{FLOPs}(f_{d}))^{\tau}\cdot\mathcal{L}{\mathrm{valid}}^{(\mathbf{adv})}(f{\mathrm{hyb}};\boldsymbol{\theta}{d}^{*}(\boldsymbol{\alpha}{d})),\tag{12}\\ &\mathbf{s.t.}\quad\mathcal{L}{\mathrm{valid}}^{(\mathbf{sta})}(f{\mathrm{hyb}})-\mathcal{L}{\mathrm{valid}}^{(\mathbf{sta})}(f{\mathrm{bck}})\leq0,\tag{13}\\ &\boldsymbol{\theta}{d}^{*}(\boldsymbol{\alpha}{d})=\operatorname*{argmin}{\boldsymbol{\theta}}\mathcal{L}{\mathrm{train}}^{(\mathbf{ata})}(f_{\mathrm{hyb}}),\quad \mathbf{s.t.}\quad\mathcal{L}{\mathrm{train}}^{(\mathbf{sta})}(f{\mathrm{hyb}})-\mathcal{L}{\mathrm{train}}^{(\mathbf{sta})}(f{\mathrm{bck}})\leq0.\tag{14} \end{align} αdminγlog(FLOPs(fd))τ⋅Lvalid(adv)(fhyb;θd∗(αd)),s.t.Lvalid(sta)(fhyb)−Lvalid(sta)(fbck)≤0,θd∗(αd)=θargminLtrain(ata)(fhyb),s.t.Ltrain(sta)(fhyb)−Ltrain(sta)(fbck)≤0.(12)(13)(14)

为了解决约束结构优化问题，我们采用了一种常用的约束优化方法，即乘法器的交替方向法(ADMM)。为了应用ADMM，需要将目标函数重新表述为增广拉格朗日函数。我们首先处理结构参数 α d α_d αd的上层优化：
L ( { α d } , { λ 1 } ) = γ log ⁡ ( F L O P s ( f d ) ) τ ⋅ L v a l i d ( a d v ) ( f h y b ) + λ 1 ⋅ c 1 + ρ 2 ∥ max ⁡ { 0 , c 1 } ∥ 2 2 s . t . c 1 = L v a l i a ( s t d ) ( f b y b ) − L v a l i d ( s t d ) ( f b c k ) , \begin{align} &L(\{\boldsymbol{\alpha}{d}\},\{\lambda{1}\})=\gamma\log(\mathrm{FLOPs}(f_{d}))^{\tau}\cdot\mathcal{L}{\mathrm{valid}}^{(\mathbf{adv})}(f{\mathrm{hyb}})+\lambda_{1}\cdot c_{1}+\frac{\rho}{2}\|\max\{0,c_{1}\}\|{2}^{2} \tag{15}\\ &\mathbf{s.t.} \quad c1=\mathcal{L}{\mathrm{valia}}^{(\mathrm{std})}(f_{\mathrm{byb}})-\mathcal{L}{\mathrm{valid}}^{(\mathrm{std})}(f{\mathrm{bck}}),\tag{16} \end{align} L({αd},{λ1})=γlog(FLOPs(fd))τ⋅Lvalid(adv)(fhyb)+λ1⋅c1+2ρ∥max{0,c1}∥22s.t.c1=Lvalia(std)(fbyb)−Lvalid(std)(fbck),(15)(16)

其中 λ 1 \lambda_{1} λ1是拉格朗日乘子， ρ ∈ R + \rho\in\mathbb{R}_{+} ρ∈R+是ADMM中预定义的正数。我们交替更新 α d \alpha_d αd和 λ 1 \lambda_1 λ1：

α d ( t + 1 ) ← α d ( t ) − η 1 ∇ L ( { α d ( t ) } , { λ 1 ( t ) } ) λ 1 ( t + 1 ) ← λ 1 ( t ) + ρ ⋅ c 1 , \begin{align} &\alpha_{d}^{(t+1)}\leftarrow\alpha_{d}^{(t)}-\eta_{1}\nabla L(\{\alpha_{d}^{(t)}\},\{\lambda_{1}^{(t)}\})\tag{17}\\ &\lambda_{1}^{(t+1)}\leftarrow\lambda_{1}^{(t)}+\rho\cdot c_{1},\tag{18} \end{align} αd(t+1)←αd(t)−η1∇L({αd(t)},{λ1(t)})λ1(t+1)←λ1(t)+ρ⋅c1,(17)(18)

其中 η 1 \eta _{1} η1是架构的学习率。同样，网络权值 θ d \theta _{d} θd作为增广拉格朗日函数的下级优化问题可以定义为：

L ( { θ d } , { λ 2 } ) = L t r a i n ( a d v ) ( f h y b ) + λ 2 ⋅ c 2 + ρ 2 ∥ max ⁡ { 0 , c 2 } ∥ 2 2 s . t . c 2 = L t r a i n ( s t d ) ( f h y b ) − L t r a i n ( s t d ) ( f b c k ) , \begin{align} &L(\{\boldsymbol{\theta}{d}\},\{\lambda{2}\})=\mathcal{L}{\mathrm{train}}^{(\mathbf{adv})}(f{\mathrm{hyb}})+\lambda_{2}\cdot c_{2}+\frac{\rho}{2}\|\max\{0,c_{2}\}\|{2}^{2} \tag{19}\\ &\mathbf{s.t.}\quad c2=\mathcal{L}{\mathrm{train}}^{(\mathrm{std})}(f_{\mathrm{hyb}})-\mathcal{L}{\mathrm{train}}^{(\mathrm{std})}(f{\mathrm{bck}}),\tag{20}\\ \end{align} L({θd},{λ2})=Ltrain(adv)(fhyb)+λ2⋅c2+2ρ∥max{0,c2}∥22s.t.c2=Ltrain(std)(fhyb)−Ltrain(std)(fbck),(19)(20)

其中 λ 2 \lambda_{2} λ2是拉格朗日乘子。同样，我们可以用同样的方式更新 θ d \boldsymbol{\theta}{d} θd和 λ 2 \lambda{2} λ2：
θ d ( t + 1 ) ← θ d ( t ) − η 2 ∇ L ( { θ d ( t ) } , { λ 2 ( t ) } ) , λ 2 ( t + 1 ) ← λ 2 ( t ) + ρ ⋅ c 2 , \begin{align} &\theta_{d}^{(t+1)}\leftarrow\theta_{d}^{(t)}-\eta_{2}\nabla L(\{\boldsymbol{\theta}{d}^{(t)}\},\{\lambda{2}^{(t)}\}), \tag{21}\\ &\lambda_{2}^{(t+1)}\leftarrow\lambda_{2}^{(t)}+\rho\cdot c_{2},\tag{22} \end{align} θd(t+1)←θd(t)−η2∇L({θd(t)},{λ2(t)}),λ2(t+1)←λ2(t)+ρ⋅c2,(21)(22)

其中 η 2 η_2 η2为网络权值的学习率。

4 Theoretical Analysis

在本节中，我们对我们提出的NADAR进行了理论分析。由于我们的优化问题有两个主要目标，即标准性能约束和对抗鲁棒性，因此这种分析也是双重的。首先，分析了NADAR的标准误差界。我们证明了扩展对抗网络的标准误差可以被骨干网的标准误差和我们的标准性能约束所限制。其次，我们比较了扩展型对抗网络的对抗误差和骨干标准网络的标准误差。

我们证明，即使主干是固定的，也可以通过向主干添加扩展架构来提高对抗性能。这两个误差边界可以很自然地激发公式12和13中的优化问题。我们的补充材料提供了详细的证明。此外，通过这一分析，我们想要揭示两点：(1)用扩展扩大骨干网络可以提高其性能，这证明了我们的神经结构扩展的有效性；(2)扩展架构在干净样本和对攻击不敏感的样本上应该与主干一致，这直接激发了我们的标准性能约束。

我们讨论了一种简化的二元分类情况，其中标签空间为 Y = { − 1 , + 1 } \mathcal{Y}=\{-1,+1\} Y={−1,+1}。所得的理论结果也可推广到多类分类情况。二元分类假设 h ∈ H h\in\mathcal{H} h∈H定义为映射 h : X ↦ R h:\mathcal{X}\mapsto\mathbb{R} h:X↦R，其中 H \mathcal{H} H是假设空间， χ \chi χ是自然样本的输入空间。假设的输出是一个实值分数。通过对分数应用符号函数sign(·)，可以得到预测的标签。将主链假设记为 h b h_b hb。通过进一步研究扩展结构的影响，所得到的混合网络的假设可以定义为 h h y b ( x ) = h b ( x ) + h d ( x ) h_\mathbf{hyb}(\boldsymbol{x})=h_b(\boldsymbol{x})+h_d(\boldsymbol{x}) hhyb(x)=hb(x)+hd(x)，其中 h d h_d hd代表扩展结构引起的变化。标准模型对应于假设 h b c k ( x ) = h b ( x ) h_{\mathbf{bck}}(\boldsymbol{x})=h_{b}(\boldsymbol{x}) hbck(x)=hb(x)。我们进一步定义假设的标准误差 h h h：
R s t d ( h ) : = E [ 1 { s i g n ( h ( x ) ) ≠ y } ] , (23) R_{\mathbf{std}}(h):=\mathbb{E}\left[\mathbf{1}\{\mathrm{sign}(h(\boldsymbol{x}))\neq y\}\right], \tag{23} Rstd(h):=E[1{sign(h(x))=y}],(23)

它的对抗性误差是：
R a d v ( h ) : = E [ 1 { ∃ x ′ ∈ B p ( x , ε ) , s . t . s i g n ( h ( x ′ ) ) ≠ y } ] , (24) R_{\mathbf{adv}}(h):=\mathbb{E}\left[\mathbf{1}\{\exists\boldsymbol{x}^{\prime}\in B_{p}(x,\varepsilon), \mathbf{s.t.} \mathrm{sign}(h(\boldsymbol{x}^{\prime}))\neq y\}\right], \tag{24} Radv(h):=E[1{∃x′∈Bp(x,ε),s.t.sign(h(x′))=y}],(24)

式中 1 { ⋅ } \mathbf{1}\{\cdot\} 1{⋅}为指标函数。

4.1 标准误差范围

为了比较两个不同假设的误差，我们首先稍微修改误差函数。公式23检验sign ( h ( x ) ) ≠ y (h(\boldsymbol{x}))\neq y (h(x))=y的条件，因为标签空间是二进制的， h h h的输出空间是实数，所以我们可以用 y h ( x ) ≤ 0 yh(\boldsymbol{x})\leq0 yh(x)≤0来代替这个条件，去掉符号函数。然后，通过应用一个简单的不等式 1 { y h ( x ) ≤ 0 } ≤ e − y h ( x ) \mathbf{1}\{yh(\boldsymbol{x})\leq0\}\leq e^{-yh(\boldsymbol{x})} 1{yh(x)≤0}≤e−yh(x)，我们得到了一个非常有用的关于标准误差的不等式：
R s t d ( h ) ≤ E [ e − y h ( x ) ] . (25) R_{\mathbf{std}}(h)\leq\mathbb{E}\left[e^{-yh(\boldsymbol{x})}\right]. \tag{25} Rstd(h)≤E[e−yh(x)].(25)

公式25可以得出定理1中的标准误差界。

定理1 。设 h b c k ( x ) = h b ( x ) h_{\mathrm{bck}}(x)=h_{b}(\boldsymbol{x}) hbck(x)=hb(x)为标准假设， h h y b ( x ) = h b ( x ) + h d ( x ) h_\mathbf{hyb}(\boldsymbol{x})=h_{b}(\boldsymbol{x})+h_{d}(\boldsymbol{x}) hhyb(x)=hb(x)+hd(x)为混合假设， R s t d ( h b c k ) \mathcal{R} {\mathrm{std}}( h{\mathrm{bck}}) Rstd(hbck)和 R s t d ( h h y b ) \mathcal{R} {\mathrm{std}}( h{\mathrm{hyb}}) Rstd(hhyb)分别为 h b c k h_{\mathrm{bck}} hbck和 h h y b h_{\mathrm{hyb}} hhyb的标准误差。对于任意映射 h b , h d : X ↦ R h_b,h_d:\mathcal{X}\mapsto\mathbb{R} hb,hd:X↦R，我们有
R s t d ( h h y b ) ≤ R s t d ( h b c k ) + E [ e − h b ( x ) h d ( x ) ] , (26) \mathcal{R}{\mathrm{std}}(h{\mathrm{hyb}})\leq\mathcal{R}{\mathrm{std}}(h{\mathrm{bck}})+\mathbb{E}\left[e^{-h_{b}(\boldsymbol{x})h_{d}(\boldsymbol{x})}\right], \tag{26} Rstd(hhyb)≤Rstd(hbck)+E[e−hb(x)hd(x)],(26)

其中 x ∈ X x\in\mathcal{X} x∈X是输入。

定理1说明了混合网络的标准性能受到骨干网的标准性能和 h b ( x ) h_b(x) hb(x)和 h d ( x ) h_d(x) hd(x)之间的符号不一致的限制。这反映了我们的注释(2)。如果主干准确地预测了自然数据x的标签，则hd(x)应该进行相同的类别预测，这意味着混合假设 h h y b ( x ) = h b ( x ) + h d ( x ) h_{hyb}(x) = h_b(x) + h_d(x) hhyb(x)=hb(x)+hd(x)的预测可以得到加强，并且不会导致比林分假设更差的结果。为了达到这一目标，它自然与公式7中提出并应用于公式13的标准性能约束联系在一起。

4.2 对抗性误差界限

与公式25类似，我们可以得到一个关于对抗性误差的不等式：
R a d v ( h ) ≤ E [ max ⁡ x ′ ∈ B p ( x , ε ) e − y h ( x ′ ) ] , (27) R_{\mathbf{adv}}(h)\leq\mathbb{E}\left[\max_{\boldsymbol{x}^{\prime}\in B_{p}(x,\varepsilon)}e^{-yh(\boldsymbol{x}^{\prime})}\right], \tag{27} Radv(h)≤E[x′∈Bp(x,ε)maxe−yh(x′)],(27)

在此基础上，我们可以推导出以下引理2。

引理2 。对于任意映射 h : X ↦ R h:\mathcal{X}\mapsto\mathbb{R} h:X↦R，我们有
E [ max ⁡ x ′ ∈ B p ( x , ε ) e − y h ( x ′ ) ] ≤ E [ max ⁡ x ′ ∈ B p ( x , ε ) e − y h ( x ) e − h ( x ) h ( x ′ ) ] , (28) \mathbb{E}\begin{bmatrix}\max_{\boldsymbol{x}^{\prime}\in B_{p}(x,\varepsilon)}e^{-yh(\boldsymbol{x}^{\prime})}\end{bmatrix}\leq\mathbb{E}\begin{bmatrix}\\\max_{\boldsymbol{x}^{\prime}\in B_{p}(x,\varepsilon)}e^{-yh(\boldsymbol{x})}e^{-h(\boldsymbol{x})h(\boldsymbol{x}^{\prime})}\end{bmatrix}, \tag{28} E[maxx′∈Bp(x,ε)e−yh(x′)]≤E[maxx′∈Bp(x,ε)e−yh(x)e−h(x)h(x′)],(28)

其中 x ∈ X x\in\mathcal{X} x∈X是输入， y ∈ { − 1 , + 1 } y\in\{-1,+1\} y∈{−1,+1}为对应的标号， ε \varepsilon ε为允许对抗摄动的界。

引理2是单个假设的固有特征。我们将其推广到用扩展假设 h d h_d hd将扩展到 h h y b h_\mathrm{hyb} hhyb的情况。

定理3 。设 h b c k ( x ) = h b ( x ) h_\mathrm{bck}(x)=h_b(\boldsymbol{x}) hbck(x)=hb(x)为标准假设， h h y b ( x ) = h b ( x ) + h d ( x ) h_\mathrm{hyb}(\boldsymbol{x})=h_b(\boldsymbol{x})+h_d(\boldsymbol{x}) hhyb(x)=hb(x)+hd(x)为扩展性假设， R s t d ( h b c k ) \mathcal{R} {\mathrm{std}}( h{\mathrm{bck}}) Rstd(hbck)为 h b c k 的 h_{\mathrm{bck}}的 hbck的标准误差， R a d v ( h h y b ) \mathcal{R} {\mathrm{adv}}( h{\mathrm{hyb}}) Radv(hhyb)为 h h y b h_{hyb} hhyb的对抗误差。对于任意映射hb;hd: x7 !R，我们有
R a d v ( h h y b ) ≤ R s t d ( h b c k ) + E [ max ⁡ x ′ B p ( x , ε ) e − y h b ( x ) ( e − h b ( x ) h b ( x ′ ) e − y h d ( x ′ ) − 1 ) ] . (29) \mathcal{R}{\mathrm{adv}}(h{\mathrm{hyb}})\leq\mathcal{R}{\mathrm{std}}(h{\mathrm{bck}})+\mathbb{E}\left[\max_{\boldsymbol{x}^{\prime}B_{p}(x,\varepsilon)}e^{-yh_{b}(\boldsymbol{x})}\left(e^{-h_{b}(\boldsymbol{x})h_{b}(\boldsymbol{x}^{\prime})}e^{-yh_{d}(\boldsymbol{x}^{\prime})}-1\right)\right]. \tag{29} Radv(hhyb)≤Rstd(hbck)+E[x′Bp(x,ε)maxe−yhb(x)(e−hb(x)hb(x′)e−yhd(x′)−1)].(29)

其中 x ∈ X x\in X x∈X是输入， y ∈ { − 1 , + 1 } y\in\{-1,+1\} y∈{−1,+1}为对应的标号， ε \varepsilon ε为允许对抗摄动的界。

通过最小化定理3中的 e − y h b ( x ) e^{-yh_b(\boldsymbol{x})} e−yhb(x)，我们期望骨干网对自然数据具有令人满意的精度，这是提出算法的先决条件。由于本文中骨干网是固定的，所以 e − h b ( x ) h b ( x ′ ) e^{-h_b(x)h_b(x^{\prime})} e−hb(x)hb(x′)项不会受到算法的影响。剩余项 e − y h d ( x ′ ) e^{-yh_d(\boldsymbol{x}^{\prime})} e−yhd(x′)意味着即使骨干网络对对抗样本 x ′ x^{\prime} x′做出了错误的预测，扩展网络 h d h_d hd仍有机会纠正错误分类，提高混合网络 h h y b h_\mathrm{hyb} hhyb的整体对抗精度。这种扩展能力反映了我们的注释(1)。在另一种情况下，如果 h b h_b hb做出了正确的预测， h d h_d hd应该同意它，这反映了我们的注释(2)也适用于对抗性误差。

5 Experiments

我们进行了大量的实验来证明NADAR可以通过扩展神经网络架构来提高神经网络的对抗鲁棒性。在本节中，我们首先将混合网络的标准精度和对抗性精度与各种最先进的(SOTA)方法进行比较。然后，我们通过实验分析了NADAR框架中每个组件的影响，包括基于扩展的训练方法和标准性能约束。最后，我们探讨了扩展的充分尺度和FLOPs约束的影响。补充资料中还提供了其他数据集在不同主干的各种攻击方式下的更多结果。

5.1 实验设置

我们使用了与以前的NAS工作类似的管道[17,29,6,10]。首先，我们在单次模型中优化了扩展结构。然后，根据结构参数α和β推导出离散结构。最后，构造一个离散网络并重新训练以进行验证。在扩展阶段，训练集被分成两个相等的部分。一个用作网络权值优化的训练集，另一个用作体系结构参数优化的验证集。在再训练和验证阶段，使用整个训练集进行训练，训练后的网络在原始验证集上进行验证。

我们在针对CIAFR-10/100[12]和ImageNet[21]的白盒攻击和针对CIAFR-10的黑盒攻击下进行了扩展。NADAR框架需要扩展主干。根据之前的工作[18,22,32,31]，我们在两个CIFAR数据集上使用10倍宽的ResNet变体，即Wide ResNet 32-10 (WRN32-10)[30]，并在ImageNet上使用ResNet-50[11]。扩展的体系结构和扩展的体系结构的搜索空间如补充材料的A节所示。

考虑到网络架构的优化和对抗示例的生成都是计算密集型的，我们采用了一些方法来减少扩展阶段的计算开销。如前所述，我们利用部分通道连接来降低架构优化的成本。对于搜索过程中的对抗性训练，我们使用了FreeAT[22]，它在训练过程中循环梯度生成对抗性样例，降低了训练成本。

5.2 防御白盒攻击

CIFAR-10。我们将混合网络与4类SOTA方法进行了比较，包括标准训练、对抗训练、标准NAS和鲁棒NAS。标准训练方法和所有对抗性训练方法使用WRN32-10。对于标准NAS方法，该体系结构是根据他们的论文中报道的标准训练搜索到的最佳体系结构，并使用PGD-7进行再训练[18]。对于对抗性NAS方法，我们遵循其原始设置。我们给出了用我们的方法得到的两个最佳扩展架构，分别是在没有FLOPs约束和有FLOPs约束的情况下扩展的NADAR-A和NADAR-B。这些架构在补充材料的A节中可视化。我们的架构也接受了PGD-7的再训练。表1给出了PGD-20攻击下自然图像上的标准精度和对抗性精度。

比较NADAR-A和NADAR-B，FLOPs约束可以明显减少扩展结构的FLOPs数量（减少14.28%）和参数数量（减少18.19%）。它对对抗精度的负面影响是微不足道的(在PGD-20攻击下只有0.59%)，甚至可以稍微提高标准精度。

在对抗训练方法方面，我们使用相同的训练方法，但使用混合网络，与PGD-7相比，我们的对抗性能提高了7.59%，仅下降了1.02%的标准性能。这一结果表明，我们的扩展架构确实可以在不修改训练方法的情况下提高网络的鲁棒性。同时，标准精度被限制在一个竞争水平。与FreeAT-8相比，我们的方法达到了更低的标准精度下降和更高的对抗精度增益。

一种与PGD和FreeAT截然不同的方法，即友好对抗性训练(FAT)，旨在通过生成比常规对抗性训练更弱的对抗性示例来提高对抗性训练模型的标准准确性。尽管FAT可以在弱攻击下显著提高标准精度，但它对PGD-7的对抗性精度增益很小(仅为0.29%)。它的对抗性精度甚至低于FreeAT-8，尽管它的标准精度更高。与FAT不同，我们的方法致力于另一个改进方向，在不显著影响标准性能的情况下提高了对抗鲁棒性。尽管在标准和对抗精度之间仍然存在权衡，但我们可以将标准下降与对抗增益的比例增加到1:7.44。

先前的一项研究重点是权衡，它引入了一个调优参数(λ)来调整权衡的平衡。然而，比较TRADES-1 (1/λ = 1)和TRADES-6 (1/λ = 6)，它们的权衡比仅为1:2.02(即3.72%的标准精度下降为7.53%的对抗精度增益)。我们可以提供比他们更好的权衡比率。此外，我们的标准性能自然受到公式7的约束。其中没有需要调整的超参数，这使得我们的标准下降与对抗增益的权衡比比TRADES更好，平衡更合理。

最后，与NAS方法相比，我们的混合网络可以优于标准和健壮的NAS体系结构。标准NAS架构没有针对对抗性鲁棒性进行优化。除了NASNet，它们的对抗性准确性通常都很差。虽然它们针对标准任务进行了优化，但经过对抗性训练后的标准准确率明显低于使用PGD-7训练的WRN32-10。对于鲁棒性NAS方法，RobNet为了鲁棒性牺牲了其标准精度，在表1所列的所有作品中，其标准精度是最低的。RACL有更好的权衡，但只能达到标准NAS架构的标准精度，仍然低于反向训练的WRN32-10。这表明，为标准约束和对抗增益扩展标准主干比从头开始设计新架构更有效。

CIFAR-100。我们将扩展在CIFAR-10上的体系结构调整为CIFAR-100，并在表2中报告了结果。我们考虑了两种基线，包括传统的对抗性训练方法(PGD-7和FreeAT-8)和两种鲁棒NAS方法(RobNet和RACL)。结果表明，即使有更多的类别，NADAR在PGD-20攻击下仍能达到优异的鲁棒性。在标准验证精度方面，我们可以达到与FreeAT-8相比具有竞争力的性能。其他作品没有报告其论文的标准准确性。在对抗性验证准确率方面，我们的NADAR-B可以优于所有基线，而NADAR-A略低于RACL，但明显优于其他基线。

Tiny-ImageNet 。我们还使我们的架构适应更大的数据集，即Tiny-ImageNet。为了在Tiny-ImageNet上进行有效的训练，我们将我们的扩展架构与PGD和两种有效的对抗性训练方法，即FreeAT[22]和FastAT[28]进行了比较。我们遵循Shafahi等[22]和Wong等[28]的ImageNet设置，使用ResNet-50作为主干，设置剪辑大小 ϵ = 4 \epsilon=4 ϵ=4。对于PGD和FreeAT，我们设置步长K = 4，步长S = 2，结果如表3所示。我们还报告了使用NVIDIA V100 GPU训练网络的GPU-Day成本。虽然NADAR消耗大约1.8 ~ 2.4× GPU-Day，但我们的方法在自然和对抗精度方面始终优于基线。

5.3 防御自动攻击

我们考虑了一种新颖而有前途的评估方法，即AutoAttack[5]。我们使用自动攻击的标准设置，包括四种不同的攻击：APGDCE, APGDT DLR, FABT和Square。结果如表4所示。在APGDT DLR和FABT攻击下，我们的方法达到了较好的性能。在APGDCE攻击下，我们的最佳结果可以优于PGD-7、FastAT和FreeAT-8(约6.74 ~ 8.98%)，但略低于TRADES-6(约2.64%)。在Square攻击下，我们仍然优于PGD-7, FastAT和FreeAT-8，并且可以达到与TRADES-6竞争的性能。

5.4 防御黑盒攻击

我们对CIFAR-10进行黑盒攻击。我们使用不同的源网络来生成对抗性示例。对于源网络，我们使用WRN32-10骨干网，该骨干网由FGSM和PGD-7生成的自然图像和对抗图像训练。对于防御网络，我们将我们最好的NADAR-B架构与普通的WRN32-10骨干网进行了比较。他们都接受过PGD-7的训练。结果如表5所示，根据源网络分组。使用自然图像和FGSM训练的WRN32-10源网络，NADAR-B可以持续优于骨干网。我们还使用经过PGD-7训练的NADAR-B和经过PGD-7训练的WRN32-10相互攻击。我们的混合网络可以始终达到卓越的性能。

5.5 扩展消融研究

我们对扩展进行消融研究。在我们的方法中有两个关键的组成部分。首先，将标准任务和对抗任务的优化目标分开，保证了主干集中在清晰的图像上，扩展网络通过学习提高主干的鲁棒性;其次，标准性能约束可以防止扩展网络损害骨干网的标准性能。实验表明，两者对最终结果都有重要的贡献。注意，如果没有单独的目标，混合网络是作为一个整体训练的。因此，也没有标准约束。我们使用与第5.2节相同的设置。

表6报告了通过再训练获得的网络的标准精度和对抗性精度。在没有标准性能约束的情况下，一起或单独扩展具有相似的标准性能。后者的骨干虽然是标准目标训练，但不会对再训练结果产生太大影响(平均只高出0.06%)。带标准约束的完整框架经过再训练后达到最佳的标准精度。在对抗精度方面，使用单独目标进行扩展始终优于使用单个对抗目标进行扩展。

6 Conclusion

准确性和鲁棒性之间的权衡被认为是神经网络的固有属性，它不能被对抗训练或鲁棒NAS轻易绕过。在本文中，我们提出扩展神经网络的架构，以增加对抗鲁棒性，同时保持具有直接约束的竞争标准精度。该框架被称为对抗鲁棒性网络架构扩展(NADAR)。大量的实验表明，NADAR可以有效地提高神经网络的鲁棒性，并且可以达到比现有方法更好的权衡比。

Appendix

A. 搜索空间和扩展的体系结构

对于扩展架构，我们使用具有4个节点的DAG作为超级网络。每条边有8个候选操作，包括4个卷积操作：3 × 3可分离卷积、5 × 5可分离卷积、3 × 3展开可分离卷积和5 × 5展开可分离卷积；2个池化操作：3 × 3平均池化和3 × 3最大池化；2个特殊操作：代表跳跃连接的identity操作和代表两个节点不连接的None操作。在扩展期间，我们为WRN32-10中的3个块中的每个块堆叠3个单元。在再训练期间，数量增加到6个。

由NADAR设计的扩展架构如图2所示。我们发现NADAR更倾向于深度结构，这可以在有限的参数数量下增加更多的非线性。非线性与网络容量密切相关。这种深度架构可以为混合网络带来更大的容量和对抗鲁棒性。

B. 其他结果

B.1 MNIST

尽管有自适应，但我们报告了NADAR扩展的架构在MNIST和MNIST的彩色变体MNIST-M的各种攻击方法下的对抗性验证准确性[8]。MNIST- m将MNIST中的灰度图像与BSDS500中的彩色照片的随机斑块混合在一起[1]。混合引入了额外的颜色和纹理。在这个实验中，我们使用ResNet-18作为我们的主干。

表7显示了对抗性验证的准确性。我们报告了有和没有FLOPs约束的NADAR结果。如表所示，FLOPs约束可以将FLOPs降低20.75 ~ 35.72%，而性能仍然具有竞争力。在MNIST上，我们观察到PGD-40下的NADAR比FGSM和MI-FGSM下的精度更好。我们认为这是因为MNIST数据集相对简单，40步PGD导致过拟合。因此，我们在MNIST-M上进行了实验，结果表明FGSM > MI-FGSM > PGD-40。我们还将结果与SOTA方法进行了比较。在MNIST数据集上，PGD-7在PGD-40攻击下仅达到96.01%的验证准确率，TRADES-6仅达到96.07%。

B.2 各骨干扩展

为了证明NADAR的通用性，我们用不同规模的ResNet骨干网(从ResNet-18到ResNet-101)进行了测试。各骨干PGD-20攻击下的标准精度和对抗性精度见表8。在本文中，所有的混合网络都以PGD-7作为相同的设置进行再训练。

结果表明，与WRN32-10基线相比，NADAR可以有效提高不同骨干网的鲁棒性，且没有任何扩展。最大的ResNet-101骨干网可以达到与扩展的WRN32-10竞争的对抗精度。在自然图像的标准精度方面，由于ResNet骨干网自身容量小的固有限制，所有ResNet骨干网都比WRN3210骨干网有更高的性能下降。这说明，尽管NADAR可以提高鲁棒性，而不考虑主干的容量，但选择合适的主干以获得更好的标准精度仍然至关重要。

C. 其他消融研究

C.1 扩展对抗训练

如前所述，我们使用FressAT作为对抗性训练方法来优化扩展架构以提高效率。为了更好地产生扰动，FreeAT需要在每个小批上重复K次。根据他们的论文，K = 8达到最佳鲁棒性。我们还对K的选择进行了实验。图3显示了混合网络在扩展过程中的精度曲线。我们报告了FreeAT的对抗性训练精度、标准验证精度和PGD-20攻击下的对抗性验证精度。由于混合网络没有在标准分类任务(召回标准性能约束)下直接优化，因此没有标准的训练准确率。当所有小批的K-repeat完成后，在每个完整epoch后获得所有值。横轴表示优化步骤的总数，等于epoch数乘以K。

当K = 4时，混合网络达到了出色的对抗训练准确率，但在训练开始时验证率只略有增加，然后不断减小，直到达到0。相比之下，标准验证精度不断提高，达到了具有竞争力的水平。这意味着当K = 4时产生的扰动不足以扩展网络以防御PGD-20，并且框架可能由骨干的标准训练或对扩展架构的标准约束主导。当K = 8时，虽然标准验证精度远低于之前的结果，但对抗性训练和验证精度是竞争的，彼此接近。

C.2 不同尺度扩展

除了FLOPs约束之外，还有一个影响扩展网络模型容量和计算成本的因素，那就是堆叠单元的数量。在第5.2节中，我们为WRN32-10中的3个块中的每个块堆叠6个单元，用于再训练。直观上，网络容量越大，性能越好。然而，我们证明了网络不能无限扩展。网络架构扩展有一个最佳点。在这个实验中，我们测试了另外两个堆叠单元的尺度。表9比较了不同扩展尺度的验证结果。

我们可以观察到，随着扩展网络规模的增大，标准精度不断下降。在对抗精度方面，随着扩展尺度的增大，先增大后显著下降。这可能是因为随着网络容量的增加，网络变得难以收敛。因此，我们在扩展网络中堆叠3 × 6个单元，达到了最佳的对抗精度，并且具有较低的标准精度下降。

C.3 与随机扩展比较

为了证明神经结构扩展的有效性，我们将五个随机扩展的结构与我们的NADAR结构和WRN32-10主干进行了比较。我们用PGD-7训练了所有的网络，并在PGD-20下测试了它们的鲁棒性。对抗性验证的准确性如图4所示。随机体系结构的中位数精度与WRN32-10骨干网相似，但更有可能达到更好的性能。然而，扩展架构仍然有一定的可能会对混合网络的性能造成轻微的损害。这表明神经结构扩展有可能提高主干的鲁棒性，但仍需要优化。NADAR-A和-B的精度明显优于随机扩展的最佳结果，这表明我们的方法确实可以有效稳定地提高主干的鲁棒性。

D 定理证明

本节证明了本文的引理和定理。

D.1 标准误差范围

Theorem 4.
R s t d ( h h y b ) ≤ R s t d ( h b c k ) + E [ e − h b ( x ) h d ( x ) ] , \begin{align} \mathcal{R}{\mathrm{std}}(h{\mathrm{hyb}})\leq\mathcal{R}{\mathrm{std}}(h{\mathrm{bck}})+\mathbb{E}\left[e^{-h_{b}(\boldsymbol{x})h_{d}(\boldsymbol{x})}\right], \tag{30} \end{align} Rstd(hhyb)≤Rstd(hbck)+E[e−hb(x)hd(x)],(30)
Proof.
R s t d ( h a d v ) − R s t d ( h b c k ) = E [ 1 ( y h b c k ( x ) > 0 , h h y b ( x ) h b c k ( x ) ≤ 0 ) ] ≤ E [ 1 ( h h y b ( x ) h b c k ( x ) ≤ 0 ) ] . \begin{align} &\mathcal{R}{\mathrm{std}}(h{\mathrm{adv}})-\mathcal{R}{\mathrm{std}}(h{\mathrm{bck}})\tag{31}\\ &=\mathbb{E}\left[\mathbf{1}\left(yh_{\mathrm{bck}}(\boldsymbol{x})>0, h_{\mathrm{hyb}}(\boldsymbol{x})h_{\mathrm{bck}}(\boldsymbol{x})\leq0\right)\right]\tag{32}\\ &\leq\mathbb{E}\left[\mathbf{1}\left(h_{\mathrm{hyb}}(\boldsymbol{x})h_{\mathrm{bck}}(\boldsymbol{x})\leq0\right)\right].\tag{33}\\ \end{align} Rstd(hadv)−Rstd(hbck)=E[1(yhbck(x)>0,hhyb(x)hbck(x)≤0)]≤E[1(hhyb(x)hbck(x)≤0)].(31)(32)(33)

1 { y h ( x ) ≤ 0 } ≤ e − y h ( x ) , (34) \mathbf{1}\{yh(\boldsymbol{x})\leq0\}\leq e^{-yh(\boldsymbol{x})},\tag{34} 1{yh(x)≤0}≤e−yh(x),(34)

E [ 1 ( h h y b ( x ) h b c k ( x ) ≤ 0 ) ] ≤ E [ e − h h y b ( x ) h b c k ( x ) ] = E [ e − ( h b ( x ) + h v ( x ) ) h b ( x ) ] = E [ e − h b ( x ) h b ( x ) e − h b ( x ) h v ( x ) ] . \begin{align} &\mathbb{E}\left[\mathbf{1}\left(h_{\mathbf{hyb}}(\boldsymbol{x})h_{\mathbf{bck}}(\boldsymbol{x})\leq0\right)\right] \tag{35}\\ &\leq \mathbb{E}\left[e^{-h_{\mathrm{hyb}}(\boldsymbol{x})h_{\mathrm{bck}}(\boldsymbol{x})}\right] \tag{36}\\ &\text{=} \mathbb{E}\left[e^{-(h_{\mathrm{b}}(\boldsymbol{x})+h_{\mathrm{v}}(\boldsymbol{x}))h_{\mathrm{b}}(\boldsymbol{x})}\right] \tag{37}\\ &\text{=} \mathbb{E}\left[e^{-h_{\mathrm{b}}(x)h_{\mathrm{b}}(x)}e^{-h_{\mathrm{b}}(x)h_{\mathrm{v}}(x)}\right]. \tag{38}\\ \end{align} E[1(hhyb(x)hbck(x)≤0)]≤E[e−hhyb(x)hbck(x)]=E[e−(hb(x)+hv(x))hb(x)]=E[e−hb(x)hb(x)e−hb(x)hv(x)].(35)(36)(37)(38)

R s t d ( h h y b ) − R s t d ( h b c k ) ≤ E [ e − h b ( x ) h x ( x ) ] . \begin{align} &\mathcal{R}{\mathrm{std}}(h{\mathrm{hyb}})-\mathcal{R}{\mathrm{std}}(h{\mathrm{bck}})\leq\mathbb{E}\left[e^{-h_{\mathrm{b}}(\boldsymbol{x})h_{\mathbf{x}}(\boldsymbol{x})}\right].\tag{39}\\ \end{align} Rstd(hhyb)−Rstd(hbck)≤E[e−hb(x)hx(x)].(39)

D.2 对抗性误差界限

Lemma 5.
E [ max ⁡ x ′ ∈ B p ( x , ε ) e − y h ( x ′ ) ] ≤ E [ max ⁡ x ′ ∈ B p ( x , ε ) e − y h ( x ) e − h ( x ) h ( x ′ ) ] , (40) \mathbb{E}\left[\max_{\boldsymbol{x}^{\prime}\in B_{p}(\boldsymbol{x},\boldsymbol{\varepsilon})}e^{-yh(\boldsymbol{x}^{\prime})}\right]\leq\mathbb{E}\left[\max_{\boldsymbol{x}^{\prime}\in B_{\boldsymbol{p}}(\boldsymbol{x},\boldsymbol{\varepsilon})}e^{-yh(\boldsymbol{x})}e^{-h(\boldsymbol{x})h(\boldsymbol{x}^{\prime})}\right], \tag{40} E[x′∈Bp(x,ε)maxe−yh(x′)]≤E[x′∈Bp(x,ε)maxe−yh(x)e−h(x)h(x′)],(40)
Proof.
E [ max ⁡ x ′ ∈ B p ( x , ε ) 1 ( y h ( x ′ ) > 0 ) ] = E [ 1 ( y h ( x ) > 0 ) ] + E [ max ⁡ x ′ ∈ B p ( x , ε ) 1 ( y h ( x ) > 0 , h ( x ) h ( x ′ ) ≤ 0 ) ] . (41) \mathbb{E}\left[\max_{\boldsymbol{x}'\in B_{p}(\boldsymbol{x},\boldsymbol{\varepsilon})}\mathbf{1}\left(yh(\boldsymbol{x}')>0\right)\right]=\mathbb{E}\left[\mathbf{1}\left(yh(\boldsymbol{x})>0\right)\right]+\mathbb{E}\left[\max_{\boldsymbol{x}'\in B_{p}(\boldsymbol{x},\boldsymbol{\varepsilon})}\mathbf{1}\left(yh(\boldsymbol{x})>0, h(\boldsymbol{x})h(\boldsymbol{x}')\leq0\right)\right]. \tag{41} E[x′∈Bp(x,ε)max1(yh(x′)>0)]=E[1(yh(x)>0)]+E[x′∈Bp(x,ε)max1(yh(x)>0,h(x)h(x′)≤0)].(41)

E [ max ⁡ x ′ ∈ B p ( x , ε ) e − y h ( x ′ ) ] ≤ E [ e − y h ( x ) ] + E [ max ⁡ x ′ ∈ B p ( x , ε ) e − h ( x ) h ( x ′ ) ] = E [ max ⁡ x ′ ∈ B p ( x , ε ) e − y h ( x ) e − h ( x ) h ( x ′ ) ] . \begin{align} \text{E}& \begin{bmatrix}\\\max_{\boldsymbol{x}^{\prime}\in B_p(\boldsymbol{x},\boldsymbol{\varepsilon})}e^{-yh(\boldsymbol{x}^{\prime})}\end{bmatrix}\tag{42} \\ &\leq\mathbb{E}\left[e^{-yh(\boldsymbol{x})}\right]+\mathbb{E}\left[\max_{\boldsymbol{x}^{\prime}\in B_{p}(\boldsymbol{x},\boldsymbol{\varepsilon})}e^{-h(\boldsymbol{x})h(\boldsymbol{x}^{\prime})}\right] \tag{43}\\ &=\mathbb{E}\left[\max_{\boldsymbol{x}^{\prime}\in B_{p}(\boldsymbol{x},\boldsymbol{\varepsilon})}e^{-yh(\boldsymbol{x})}e^{-h(\boldsymbol{x})h(\boldsymbol{x}^{\prime})}\right].\tag{44} \end{align} E[maxx′∈Bp(x,ε)e−yh(x′)]≤E[e−yh(x)]+E[x′∈Bp(x,ε)maxe−h(x)h(x′)]=E[x′∈Bp(x,ε)maxe−yh(x)e−h(x)h(x′)].(42)(43)(44)

Theorem 6.
R a d v ( h h y b ) ≤ R s t d ( h b c k ) + E [ max ⁡ x ′ B p ( x , ε ) e − y h b ( x ) ( e − h b ( x ) h b ( x ′ ) e − y h d ( x ′ ) − 1 ) ] . (45) \mathcal{R}{\mathrm{adv}}(h{\mathrm{hyb}})\leq\mathcal{R}{\mathrm{std}}(h{\mathrm{bck}})+\mathbb{E}\left[\max_{\boldsymbol{x}^{\prime}B_{p}(\boldsymbol{x},\boldsymbol{\varepsilon})}e^{-yh_{b}(\boldsymbol{x})}\left(e^{-h_{b}(\boldsymbol{x})h_{b}(\boldsymbol{x}^{\prime})}e^{-yh_{d}(\boldsymbol{x}^{\prime})}-1\right)\right]. \tag{45} Radv(hhyb)≤Rstd(hbck)+E[x′Bp(x,ε)maxe−yhb(x)(e−hb(x)hb(x′)e−yhd(x′)−1)].(45)
Proof.
R a d v ( h h y b ) − R s t d ( h b c k ) = E [ 1 ( ∃ x ′ ∈ B p ( x , ε ) , s . t . y h h y b ( x ′ ) ≤ 0 ) ] − E [ 1 ( y h b c k ( x ) ≤ 0 ) ] ≤ E [ max ⁡ x ′ B p ( x , ε ) e − y h h y b ( x ′ ) ] − E [ e − y h b c k ( x ) ] = E [ max ⁡ x ′ B p ( x , ε ) e − y h h y b ( x ′ ) − e − y h b c k ( x ) ] \begin{align} &\mathcal{R}{\mathrm{adv}}(h{\mathrm{hyb}})-\mathcal{R}{\mathrm{std}}(h{\mathrm{bck}}) \tag{46}\\ &=\mathbb{E}\left[\mathbf{1}(\exists\boldsymbol{x}^{\prime}\in B_p(\boldsymbol{x},\varepsilon), \mathbf{s.t.} yh_{\mathbf{hyb}}(\boldsymbol{x}^{\prime})\leq0)\right]-\mathbb{E}\left[\mathbf{1}(yh_{\mathbf{bck}}(\boldsymbol{x})\leq0)\right] \tag{47}\\ &\leq\mathbb{E}\left[\max_{\boldsymbol{x}^{\prime}B_{p}(\boldsymbol{x},\varepsilon)}e^{-yh_{\boldsymbol{h}\boldsymbol{y}\mathbf{b}}(\boldsymbol{x}^{\prime})}\right]-\mathbb{E}\left[e^{-yh_{\boldsymbol{b}\boldsymbol{c}\mathbf{k}}(\boldsymbol{x})}\right] \tag{48}\\ &=\mathbb{E}\left[\operatorname*{max}{\boldsymbol{x}^{\prime}B{p}(\boldsymbol{x},\boldsymbol{\varepsilon})}e^{-yh_{\mathrm{hyb}}(\boldsymbol{x}^{\prime})}-e^{-yh_{\mathrm{bck}}(\boldsymbol{x})}\right]\tag{49} \end{align} Radv(hhyb)−Rstd(hbck)=E[1(∃x′∈Bp(x,ε),s.t.yhhyb(x′)≤0)]−E[1(yhbck(x)≤0)]≤E[x′Bp(x,ε)maxe−yhhyb(x′)]−E[e−yhbck(x)]=E[x′Bp(x,ε)maxe−yhhyb(x′)−e−yhbck(x)](46)(47)(48)(49)

R a d v ( h h y b ) − R s t d ( h b c k ) ≤ E ⌊ max ⁡ x ′ B p ( x , ε ) e − y h b ( x ) ( e − h b ( x ) h b ( x ′ ) e − y h a ( x ′ ) − 1 ) ⌋ . (50) \mathcal{R}{\mathrm{adv}}(h{\mathrm{hyb}})-\mathcal{R}{\mathrm{std}}(h{\mathrm{bck}})\leq\mathbb{E}\left\lfloor\max_{\boldsymbol{x}^{\prime}B_{p}(\boldsymbol{x},\boldsymbol{\varepsilon})}e^{-yh_{\mathrm{b}}(\boldsymbol{x})}\left(e^{-h_{\mathrm{b}}(\boldsymbol{x})h_{\mathrm{b}}(\boldsymbol{x}^{\prime})}e^{-yh_{\mathrm{a}}(\boldsymbol{x}^{\prime})}-1\right)\right\rfloor. \tag{50} Radv(hhyb)−Rstd(hbck)≤E⌊x′Bp(x,ε)maxe−yhb(x)(e−hb(x)hb(x′)e−yha(x′)−1)⌋.(50)