SRM 论文阅读

0.SRM 的论文信息

1.介绍

  介绍中提到了传统强化学习并不存在测试与训练中的分布的差距 (gap)，同时也用图 1 详细展示了图像识别任务与强化学习任务中对于图像处理要求的不同。同时也不难想到，数据增强应该能帮助进行这种强化学习泛化的学习。

图 1 .对于图像识别任务(左)，原始图像 $o\; o$o 和翻转图像 $o\; ^\; \backslash hat\{o\}$o^ 的特征对于分类是不变的。相比之下，对于 RL 中的 cartpole 摆动任务 (右)，其目标是摆动一个未驱动的极点，这种不变特征将引导策略网络输出 $o\; o$o和 $o\; ^\; \backslash hat\{o\}$o^ 的相同动作。然而，对于 $o\; ^\; \backslash hat\{o\}$o^，更好的动作是将反向力应用于这个购物车基以保持摆动。因此， $o\; o$o 的预收集动作和奖励对于 $o\; ^\; \backslash hat\{o\}$o^ 来说并不准确。

  文章因此从频域的角度研究基于图像的 RL 的泛化。作者的动机源于最近对计算机视觉的傅立叶分析的研究 : 不同类型的空间损坏会影响模型对不同频率范围的鲁棒性。例如，高频数据增强 (例如随机高斯噪声) 使模型偏向于利用输入中的低频信息，并提高对高频损坏的鲁棒性。此外，基于单一空间的数据增强很少提高具有不同频率特征的损坏类型的模型鲁棒性。受这种现象的启发，作者推测观察到的相同 RL 任务的傅里叶统计数据在不同的环境分布上也有所不同。在图 2 中，作者可视化了 DeepMind 控制套件上原始环境的观测频谱幅度以及 4 个移位环境分布之间的平均增量。移位的环境与原始环境表现出不同的频谱差异，每个环境在不同的频率区域是不同的。知道深度模型往往倾向于对某些频带产生偏差，作者假设环境分布之间的不同频谱模式是基于图像的 RL 泛化的关键挑战。

  基于上述分析，作者通过引入频谱随机掩蔽 (SRM) 正则化来关注基于频率的增强，而不是基于空间的增强，如图 3 所示。作者提出的 SRM 可以很容易地兼容大多数现有的 RL 基准。为了防止模型关注输入图像上的某个频率范围，SRM 在训练阶段随机丢弃观测的偏频，迫使策略选择具有剩余信息的适当动作。通过这种方式，作者可以通过考虑整个频率分布来增加对不同损坏 (高、中或低频特征) 的鲁棒性。具体来说，输入观察由三个步骤操作 : (1) 快速傅里叶变换 (FFT)，(2) 频谱随机掩蔽，(3) 傅里叶逆变换 (IFFT)，在保持主要内容的同时增强了训练观察的多样性。

2.背景和方法演化

图 2 .四种移位环境的原始环境观测 $E$ ∥ F ( O ) ∥ \mathbb{E}\\\|\\mathcal{F}(\\mathcal{O})\\\| E∥F(O)∥ 的频谱幅度和观测频谱幅度差 $E$ ∥ F ( O − D ( O ) ) ∥ \mathbb{E}\\\|\\mathcal{F}(\\mathcal{O}-\\mathcal{D}(\\mathcal{O}))\\\| E∥F(O−D(O))∥。 $F\; \backslash mathcal\{F\}$F 是二维傅里叶变换， $D\; \backslash mathcal\{D\}$D 是环境移位函数。每个环境的样本观察图像被放置在相应光谱图的左侧。DeepMind Control 套件中 cartpole swing 任务共有 500K 帧用于计算，并对结果进行平均。

强化学习的设定 RL问题通常被描述为马尔可夫决策过程(MDP) M=<S,A,P,R,γ>，其中 $S\; \backslash mathcal\{S\}$S 和 $A\; \backslash mathcal\{A\}$A 分别表示状态空间和动作空间。 $P\; (\; s\; t\; +\; 1\; \mid \; s\; t\; ,\; a\; t\; )\; \backslash mathcal\{P\}\backslash left(s\_\{t+1\}\; \backslash mid\; s\_t,\; a\_t\backslash right)$P(st+1∣st,at) 是状态转换， $R\; (\; s\; t\; ,\; a\; t\; )\; R\backslash left(s\_t,\; a\_t\backslash right)$R(st,at) 是奖励函数， $\gamma \; \in \; [\; 0\; ,\; 1\; )\; \backslash gamma\; \backslash in[0,1)$γ∈[0,1) 是折扣因子。在这里，作者考虑连续控制任务的部分可观察 MDP (POMDP) M=<O,A,P,R,γ>，因为 $S\; \backslash mathcal\{S\}$S 通常不是直接从原始图像中获得的，其中 $O\; \backslash mathcal\{O\}$O 是图像的高维观察空间。按照约定，POMDP 通过将几个连续的环境帧 $\{\; o\; t\; ,\; o\; t\; -\; 1\; ,\; o\; t\; -\; 2\; \}\; \backslash left\backslash \{o\_t,\; o\_\{t-1\},\; o\_\{t-2\}\backslash right\backslash \}${ot,ot−1,ot−2} 堆叠为单个状态 $s\; t\; \in \; O\; s\_t\; \backslash in\; \backslash mathcal\{O\}$st∈O，转换为MDP。

  典型 RL 的目标是找到最优策略 $\pi \; \theta \; \ast \; \backslash pi\_\backslash theta^*$πθ∗，使 MDPs 整个分布的预期累积奖励最大化 :
$$J\; (\; \pi \; )\; =\; \sum \; t\; E\; (\; s\; t\; ,\; a\; t\; )\; \sim \; \rho \; \pi$$ r ( s t , a t ) , (1) J(\pi)=\sum_t \mathbb{E}{\left(s_t, a_t\right) \sim \rho\pi}\leftr\\left(s_t, a_t\\right)\\right, \tag{1} J(π)=t∑E(st,at)∼ρπr(st,at),(1)

  其中 $\rho \; \pi \; (\; s\; t\; ,\; a\; t\; )\; \backslash rho\_\backslash pi\backslash left(s\_t,\; a\_t\backslash right)$ρπ(st,at) 是轨迹分布的状态-动作边缘。在这项工作中，作者不考虑在单个 MDP 上学习最优策略，而是考虑一个可推广的 $\pi \; \theta \; \backslash pi\_\{\backslash theta\}$πθ，它能够在一组MDPs M=<O,A,P,R,γ> 上获得高折现收益，其中 $O\; ‾\; \backslash overline\{\backslash mathcal\{O\}\}$O 中的观测值在训练中不可见。

SAC 算法 SAC 是一种流行的连续控制任务的非策略方法。它学习了一个状态-动作值函数 $Q\; (\; s\; ,\; a\; )\; Q(s,\; a)$Q(s,a) 和一个随机策略 $\pi \; (\; a\; \mid \; s\; )\; \backslash pi(a\; \backslash mid\; s)$π(a∣s)，以基于最大熵 RL 框架找到最佳策略 :
$$J\; (\; \pi \; )\; =\; \sum \; t\; E\; (\; s\; t\; ,\; a\; t\; )\; \sim \; \rho \; \pi$$ r ( s t , a t ) + α H ( π ( ⋅ ∣ s t ) ) , (2) J(\pi)=\sum_t \mathbb{E}{\left(s_t, a_t\right) \sim \rho\pi}\leftr\\left(s_t, a_t\\right)+\\alpha \\mathcal{H}\\left(\\pi\\left(\\cdot \\mid s_t\\right)\\right)\\right, \tag{2} J(π)=t∑E(st,at)∼ρπr(st,at)+αH(π(⋅∣st)),(2)

  其中 $\alpha \; \backslash alpha$α 是温度参数，它决定了熵项对奖励的相对重要性。 $\alpha \; \backslash alpha$α 将 SAC 退化为传统的 RL。 $H\; (\; \cdot \; )\; \backslash mathcal\{H\}(\backslash cdot)$H(⋅) 通过使动作输出尽可能多样化而不是集中在一个动作上，为探索和鲁棒性提供了实质性的改进。特别是， $Q\; (\; s\; ,\; a\; )\; Q(s,\; a)$Q(s,a) 通过最小化软贝尔曼残差来近似 :
$$J\; Q\; =\; E\; (\; s\; t\; ,\; a\; t\; )\; \sim \; D\; (\; Q\; (\; s\; t\; ,\; a\; t\; )\; -\; (\; r\; t\; +\; \gamma \; V\; ˉ\; (\; s\; t\; +\; 1\; )\; )\; )\; 2\; ,\; (3)\; J\_Q=\backslash mathbb\{E\}$${\left(s_t, a_t\right) \sim \mathcal{D}}\left(Q\left(s_t, a_t\right)-\left(r_t+\gamma \bar{V}\left(s{t+1}\right)\right)\right)^2, \tag{3} JQ=E(st,at)∼D(Q(st,at)−(rt+γVˉ(st+1)))2,(3)

  其中 $D\; \backslash mathcal\{D\}$D 表示重放缓冲区， $V\; ˉ\; (\; s\; t\; +\; 1\; )\; \backslash bar\{V\}\backslash left(s\_\{t+1\}\backslash right)$Vˉ(st+1) 是软目标值网络，近似为 :
$$V\; ˉ\; s\; t\; +\; 1\; =\; E\; a\; t\; +\; 1\; \sim \; \pi$$ Q ˉ ( s t + 1 , a t + 1 ) − α log ⁡ π ( a t + 1 ∣ s t + 1 ) , (4) \bar{V} s_{t+1}=\mathbb{E}{a{t+1} \sim \pi}\left\\bar{Q}\\left(s_{t+1}, a_{t+1}\\right)-\\alpha \\log \\pi\\left(a_{t+1} \\mid s_{t+1}\\right)\\right, \tag{4} Vˉst+1=Eat+1∼πQˉ(st+1,at+1)−αlogπ(at+1∣st+1),(4)

  其中 $Q\; ˉ\; \backslash bar\{Q\}$Qˉ 是目标 Q 函数，权重可以是 Q 中权重的指数移动平均值。在策略改进步骤中，通过最小化策略与软 Q 函数的指数之间的差异来更新策略 :
$$J\; \pi \; =\; E\; s\; t\; \sim \; D$$ D K L ( π ( ⋅ ∣ s t ) ∥ exp ⁡ ( Q ( s t , ⋅ ) ) Z ( s t ) ) , (5) J_\pi=\mathbb{E}_{s_t \sim \mathcal{D}}\leftD_{K L}\\left(\\pi\\left(\\cdot \\mid s_t\\right) \\\| \\frac{\\exp \\left(Q\\left(s_t, \\cdot\\right)\\right)}{Z\\left(s_t\\right)}\\right)\\right, \tag{5} Jπ=Est∼DDKL(π(⋅∣st)∥Z(st)exp(Q(st,⋅))),(5)

3.方法论

图 3.SRM的框架和几个例子。对于三个连续的观察，SRM 分别被用作数据增强。有三种掩蔽策略，包括直接擦除、受噪声干扰或交换的干扰。在训练期间，掩蔽策略、位置和比率可以动态变化。

3.1 频谱随机掩蔽

  作者首先介绍如何通过本节中的频谱随机掩蔽策略生成新的样本。假设有一个灰度图像观测 $o\; i\; \in \; R\; H\; \times \; W\; o\_i\; \backslash in\; \backslash mathbb\{R\}^\{H\; \backslash times\; W\}$oi∈RH×W (对于 RGB 图像，将同样的操作用在每个颜色通道)，傅里叶域谱 $F\; (\; o\; i\; )\; \backslash mathcal\{F\}\backslash left(o\_i\backslash right)$F(oi) 可以通过快速傅里叶变换计算 :
$$F\; (\; o\; i\; )\; (\; u\; ,\; v\; )\; =\; (\; \sum \; h\; =\; 0\; H\; -\; 1\; \sum \; w\; =\; 0\; W\; -\; 1\; o\; i\; (\; h\; ,\; w\; )\; e\; -\; j\; 2\; \pi \; (\; u\; h\; /\; H\; +\; v\; w\; /\; W\; )\; )\; ,\; (6)\; \backslash mathcal\{F\}\backslash left(o\_i\backslash right)(u,\; v)=\backslash left(\backslash sum\_\{h=0\}^\{H-1\}\; \backslash sum\_\{w=0\}^\{W-1\}\; o\_i(h,\; w)\; e^\{-j\; 2\; \backslash pi(u\; h\; /\; H+v\; w\; /\; W)\}\backslash right),\; \backslash tag\{6\}$$F(oi)(u,v)=(h=0∑H−1w=0∑W−1oi(h,w)e−j2π(uh/H+vw/W)),(6)

其中 $u\; \in$ 0 , H − 1 u \in0, H-1 u∈0,H−1 和 $v\; \in$ 0 , W − 1 v \in0, W-1 v∈0,W−1 是频域分量的水平和垂直索引， $o\; i\; (\; h\; ,\; w\; )\; o\_i(h,\; w)$oi(h,w) 是位置 $(\; h\; ,\; w\; )\; (h,\; w)$(h,w) 处的像素值。请注意，下标 i 只是样本的索引，与时间步长无关。为了更好地处理和可视化，作者使用放置在频谱中心的最低频率分量的 $F\; (\; o\; i\; )\; \backslash mathcal\{F\}\backslash left(o\_i\backslash right)$F(oi) 的移位版本。

---

补充 : 关于傅里叶变化 (Fourier transform)

• 连续傅里叶级数推导 : 对于周期为 $P\; P$P 的函数 $s\; (\; x\; )\; s(x)$s(x)

  $$s\; (\; x\; )\; \sim \; A\; 0\; +\; \sum \; n\; =\; 1\; \infty \; (\; A\; n\; cos\; \; (\; 2\; \pi \; n\; x\; P\; )\; +\; B\; n\; sin\; \; (\; 2\; \pi \; n\; x\; P\; )\; )\; \{\backslash displaystyle\; s(x)\backslash sim\; A\_\{0\}+\backslash sum$${n=1}^{\infty }\left(A{n}\cos \left({\frac {2\pi nx}{P}}\right)+B_{n}\sin \left({\frac {2\pi nx}{P}}\right)\right)} s(x)∼A0+n=1∑∞(Ancos(P2πnx)+Bnsin(P2πnx))

  对于下面几个关键点我们进行推导 (其实就是和差化积再积分)
  $$ ∫ cos ⁡ ( 2 π n x p ) cos ⁡ ( 2 π k x p ) d x = p ( sin ⁡ ( 2 π x ( k − n ) p ) k − n + sin ⁡ ( 2 π x ( k + n ) p ) k + n ) 4 π + constant ∫ sin ⁡ ( 2 π n x p ) cos ⁡ ( 2 π k x p ) d x = p ( cos ⁡ ( 2 π x ( k − n ) p ) k − n − cos ⁡ ( 2 π x ( k + n ) p ) k + n ) 4 π + constant ∫ sin ⁡ ( 2 π n x p ) sin ⁡ ( 2 π k x p ) d x = p ( sin ⁡ ( 2 π x ( k − n ) p ) k − n − sin ⁡ ( 2 π x ( k + n ) p ) k + n ) 4 π + constant \begin{aligned} \int \cos \left(\frac{2 \pi n x}{p}\right) \cos \left(\frac{2 \pi k x}{p}\right) d x=\frac{p\left(\frac{\sin \left(\frac{2 \pi x(k-n)}{p}\right)}{k-n}+\frac{\sin \left(\frac{2 \pi x(k+n)}{p}\right)}{k+n}\right)}{4 \pi}+\text {constant}\\ \int \sin \left(\frac{2 \pi n x}{p}\right) \cos \left(\frac{2 \pi k x}{p}\right) d x=\frac{p\left(\frac{\cos \left(\frac{2 \pi x(k-n)}{p}\right)}{k-n}-\frac{\cos \left(\frac{2 \pi x(k+n)}{p}\right)}{k+n}\right)}{4 \pi}+\text {constant}\\ \int \sin \left(\frac{2 \pi n x}{p}\right) \sin \left(\frac{2 \pi k x}{p}\right) d x=\frac{p\left(\frac{\sin \left(\frac{2 \pi x(k-n)}{p}\right)}{k-n}-\frac{\sin \left(\frac{2 \pi x(k+n)}{p}\right)}{k+n}\right)}{4 \pi}+\text {constant} \end{aligned} $$∫cos(p2πnx)cos(p2πkx)dx=4πp(k−nsin(p2πx(k−n))+k+nsin(p2πx(k+n)))+constant∫sin(p2πnx)cos(p2πkx)dx=4πp(k−ncos(p2πx(k−n))−k+ncos(p2πx(k+n)))+constant∫sin(p2πnx)sin(p2πkx)dx=4πp(k−nsin(p2πx(k−n))−k+nsin(p2πx(k+n)))+constant

  由此不难推出
  {P}s(x)\,dx\\A{n}&={\frac {2}{P}}\int {P}s(x)\cos \left({\frac {2\pi nx}{P}}\right)\,dx\qquad {\text{for }}n\geq 1\qquad \\B{n}&={\frac {2}{P}}\int _{P}s(x)\sin \left({\frac {2\pi nx}{P}}\right)\,dx\qquad {\text{for }}n\geq 1\end{aligned}}} \end{array} A0AnBn=P1∫Ps(x)dx=P2∫Ps(x)cos(P2πnx)dxfor n≥1=P2∫Ps(x)sin(P2πnx)dxfor n≥1

• 傅里叶级数的指数形式 由欧拉公式 $e\; i\; x\; =\; cos\; \; x\; +\; i\; sin\; \; x\; e^\{ix\}=\backslash cos\; x+i\backslash sin\; x$eix=cosx+isinx，可以将傅里叶级数简化成复数指数的形式。重新进行相关定义 :

  c0cncn=A0=(An−iBn)/2=(A−n+iB−n)/2for n>0for n<0

  代入上面的级数定义可以证实
  $$c\; n\; =\; 1\; P\; \int \; P\; s\; (\; x\; )\; e\; -\; 2\; \pi \; i\; n\; x\; P\; \hspace{0.17em}\; d\; x\; for\; n\; \in \; Z\; \{\backslash displaystyle\; c\_\{n\}=\{\backslash frac\; \{1\}\{P\}\}\backslash int\; \_\{P\}s(x)e^\{-\{\backslash frac\; \{2\backslash pi\; inx\}\{P\}\}\}\backslash ,dx\backslash qquad\; \{\backslash text\{for\}\}\backslash \; n\backslash in\; \backslash mathbb\; \{Z\}\; \}$$cn=P1∫Ps(x)e−P2πinxdxfor n∈Z

  同时也可以用此对 $A\; n\; A\_n$An 和 $B\; n\; B\_n$Bn 进行复原 :
  A0AnBn=c0=cn+c−n=i(cn−c−n)for n>0for n>0

  通过这些定义，傅里叶级数可以写为 :
  $$s\; (\; x\; )\; \sim \; \sum \; n\; =\; -\; \infty \; \infty \; c\; n\; \cdot \; e\; 2\; \pi \; i\; n\; x\; P\; s(x)\backslash sim\; \backslash sum$${n=-\infty }^{\infty }c{n}\cdot e^{\frac {2\pi inx}{P}} s(x)∼n=−∞∑∞cn⋅eP2πinx

• 傅里叶变化 (Fourier Transform, FT) 下面，我们让 $P\; \to \; +\; \infty \; P\backslash rightarrow+\backslash infty$P→+∞，与此同时取对应的 $n\; n$n 使得 $n\; P\; \to \; \xi \; \in \; R\; \backslash frac\{n\}\{P\}\backslash rightarrow\backslash xi\backslash in\backslash mathbb\{R\}$Pn→ξ∈R，可以推得

  $$g\; (\; \xi \; )\; =\; \int \; -\; \infty \; \infty \; s\; (\; x\; )\; e\; -\; i\; 2\; \pi \; \xi \; x\; \hspace{0.17em}\; d\; x\; g(\backslash xi\; )=\backslash int\; \_\{-\backslash infty\; \}^\{\backslash infty\; \}s(x)\backslash \; e^\{-i2\backslash pi\; \backslash xi\; x\}\backslash ,dx$$g(ξ)=∫−∞∞s(x) e−i2πξxdx

  此时的 $g\; (\; \xi \; )\; g(\backslash xi)$g(ξ) 其实可看作 $c\; n\; c\_n$cn 的推广，同时也可以推广得到
  $$s\; (\; x\; )\; =\; \int \; -\; \infty \; \infty \; g\; (\; \xi \; )\; e\; i\; 2\; \pi \; \xi \; x\; \hspace{0.17em}\; d\; \xi \; ,\; \forall \; x\; \in \; R\; s(x)=\backslash int\; \_\{-\backslash infty\; \}^\{\backslash infty\; \}g(\backslash xi\; )\backslash \; e^\{i2\backslash pi\; \backslash xi\; x\}\backslash ,d\backslash xi\; ,\backslash quad\; \backslash forall\; \backslash \; x\backslash in\; \backslash mathbb\; \{R\}$$s(x)=∫−∞∞g(ξ) ei2πξxdξ,∀ x∈R

• 二维离散傅里叶变换的性质

  • (1) 可分离性 : 如果图像函数 $f\; (\; x\; ,\; y\; )\; f(x,\; y)$f(x,y) 的傅立叶变换为 $F\; (\; u\; ,\; v\; )\; F(u,\; v)$F(u,v), 图像函数 $g\; (\; x\; ,\; y\; )\; g(x,\; y)$g(x,y) 的傅立叶变换为 $G\; (\; u\; ,\; v\; )\; G(u,\; v)$G(u,v), 则图像函数 $h\; (\; x\; ,\; y\; )\; =\; f\; (\; x\; ,\; y\; )\; \cdot \; g\; (\; x\; ,\; y\; )\; h(x,\; y)=f(x,\; y)\; \backslash cdot\; g(x,\; y)$h(x,y)=f(x,y)⋅g(x,y), 它的傅立叶变换 $H\; (\; u\; ,\; v\; )\; =\; F\; (\; u\; ,\; v\; )\; \cdot \; G\; (\; u\; ,\; v\; )\; H(u,\; v)=F(u,\; v)\; \backslash cdot\; G(u,\; v)$H(u,v)=F(u,v)⋅G(u,v) 。
  • (2) 线性 : 如果图像函数 $f\; 1\; (\; x\; ,\; y\; )\; f\_1(x,\; y)$f1(x,y) 的傅立叶变换为 $F\; 1\; (\; u\; ,\; v\; )\; F\_1(u,\; v)$F1(u,v), 图像函数 $f\; 2\; (\; x\; ,\; y\; )\; f\_2(x,\; y)$f2(x,y) 的傅立叶变换函数为 $F\; 2\; (\; u\; ,\; v\; )\; F\_2(u,\; v)$F2(u,v), 则 $a\; f\; 1\; (\; x\; ,\; y\; )\; +\; b\; f\; 2\; (\; x\; ,\; y\; )\; a\; f\_1(x,\; y)+b\; f\_2(x,\; y)$af1(x,y)+bf2(x,y) 的傅立叶变换为 $a\; F\; 1\; (\; u\; ,\; v\; )\; +\; b\; F\; 2\; (\; u\; ,\; v\; )\; a\; F\_1(u,\; v)+b\; F\_2(u,\; v)$aF1(u,v)+bF2(u,v)。
  • (3) 共轭对称性 : 如果图像函数 $f\; (\; x\; ,\; y\; )\; f(x,\; y)$f(x,y) 的傅立叶变换为 $F\; (\; u\; ,\; v\; )\; F(u,\; v)$F(u,v)， $x\; \backslash mathrm\{x\}$x 和 $y\; \backslash mathrm\{y\}$y 的取值周期为 $M\; M$M 和 $N\; N$N, 它的共轭函数 $f\; \ast \; (\; x\; ,\; y\; )\; f^*(x,\; y)$f∗(x,y), 则它共轭函数的傅立叶变换为 $F\; \ast \; (\; -\; u\; +\; p\; M\; ,\; -\; v\; +\; q\; N\; )\; F^*(-u+p\; M,-v+q\; N)$F∗(−u+pM,−v+qN)， $p\; p$p 和 $q\; q$q 是任意整数。
  • (4) 位移性 : 如果图像函数 $f\; (\; x\; ,\; y\; )\; f(x,\; y)$f(x,y) 的傅立叶变换为 $F\; (\; u\; ,\; v\; )\; F(u,\; v)$F(u,v), 则 $f\; (\; x\; -\; x\; 0\; ,\; y\; -\; y\; 0\; )\; f\backslash left(x-x\_0,\; y-y\_0\backslash right)$f(x−x0,y−y0) 的傅立叶变换为 $F\; (\; u\; ,\; v\; )\; e\; -\; j\; 2\; \pi \; (\; u\; x\; 0\; +\; v\; y\; 0\; )\; /\; N\; F(u,\; v)\; e^\{-\backslash mathrm\{j\}\; 2\; \backslash pi\backslash left(u\; x\_0+v\; y\_0\backslash right)\; /\; N\}$F(u,v)e−j2π(ux0+vy0)/N， $f\; (\; x\; ,\; y\; )\; e\; j\; 2\; \pi \; (\; u\; 0\; x\; +\; v\; 0\; y\; )\; /\; N\; f(x,\; y)\; e^\{\backslash mathrm\{j\}\; 2\; \backslash pi\backslash left(u\_0\; x+v\_0\; y\backslash right)\; /\; N\}$f(x,y)ej2π(u0x+v0y)/N 的傅立叶变换为 $F\; (\; u\; -\; u\; 0\; ,\; v\; -\; v\; 0\; )\; F\backslash left(u-u\_0,\; v-v\_0\backslash right)$F(u−u0,v−v0)。
  • (5) 尺度变换性 : 如果图像函数 $f\; (\; x\; ,\; y\; )\; f(x,\; y)$f(x,y) 的傅立叶变换为 $F\; (\; u\; ,\; v\; )\; F(u,\; v)$F(u,v), 则图像函数 $f\; (\; a\; x\; ,\; b\; y\; )\; f(\backslash mathrm\{ax\},\; \backslash mathrm\{by\})$f(ax,by) 的傅立叶变换为 $1\; \mid \; a\; b\; \mid \; F\; (\; u\; a\; ,\; v\; b\; )\; \backslash frac\{1\}\{|\backslash mathrm\{ab\}|\}\; F\backslash left(\backslash frac\{u\}\{a\},\; \backslash frac\{v\}\{b\}\backslash right)$∣ab∣1F(au,bv)。
  • (6) 旋转不变性 ： 如果图像函数 $f\; (\; r\; ,\; \theta \; )\; f(r,\; \backslash theta)$f(r,θ) 的傅立叶变换为 $F\; (\; w\; ,\; \phi \; )\; F(w,\; \backslash varphi)$F(w,φ), 则 $f\; (\; r\; ,\; \theta \; +\; \theta \; 0\; )\; f\backslash left(r,\; \backslash theta+\backslash theta\_0\backslash right)$f(r,θ+θ0) 的傅立叶变换为 $F\; (\; w\; ,\; \phi \; +\; \theta \; 0\; )\; F\backslash left(w,\; \backslash varphi+\backslash theta\_0\backslash right)$F(w,φ+θ0) 。
  • (7) 卷积性 : 如果图像函数 $f\; (\; x\; ,\; y\; )\; f(x,\; y)$f(x,y) 的傅立叶变换为 $F\; (\; u\; ,\; v\; )\; F(u,\; v)$F(u,v), 图像函数 $g\; (\; x\; ,\; y\; )\; g(x,\; y)$g(x,y) 的傅立叶变换为 $G\; (\; u\; ,\; v\; )\; G(u,\; v)$G(u,v), 则图像函数 $h\; 1\; (\; x\; ,\; y\; )\; =\; f\; (\; x\; ,\; y\; )\; \ast \; g\; (\; x\; ,\; y\; )\; h\_1(x,\; y)=f(x,\; y)\; *\; g(x,\; y)$h1(x,y)=f(x,y)∗g(x,y), 它的傅立叶变换 $H\; 1\; (\; u\; ,\; v\; )\; =\; F\; (\; u\; ,\; v\; )\; \cdot \; G\; (\; u\; ,\; v\; )\; H\_1(u,\; v)=F(u,\; v)\; \backslash cdot\; G(u,\; v)$H1(u,v)=F(u,v)⋅G(u,v);图像函数 $h\; 2\; (\; x\; ,\; y\; )\; =\; f\; (\; x\; ,\; y\; )\; \cdot \; g\; (\; x\; ,\; y\; )\; h\_2(x,\; y)=f(x,\; y)\; \backslash cdot\; g(x,\; y)$h2(x,y)=f(x,y)⋅g(x,y), 它的傅立叶变换 $H\; 2\; (\; u\; ,\; v\; )\; =\; F\; (\; u\; ,\; v\; )\; \ast \; G\; (\; u\; ,\; v\; )\; H\_2(u,\; v)=F(u,\; v)\; *\; G(u,\; v)$H2(u,v)=F(u,v)∗G(u,v) 。
  • (8) DC 系数 : 对于图像函数 $f\; (\; x\; ,\; y\; )\; f(x,\; y)$f(x,y) 的傅立叶变换为 $F\; (\; u\; ,\; v\; )\; F(u,\; v)$F(u,v)， $F\; (\; 0\; ,\; 0\; )\; F(0,0)$F(0,0) 是傅立叶换的 DC 系数, 则 $F\; (\; 0\; ,\; 0\; )\; F(0,0)$F(0,0) 为;

  $$F\; (\; 0\; ,\; 0\; )\; =\; \sum \; x\; =\; 0\; M\; -\; 1\; \sum \; y\; =\; 0\; N\; -\; 1\; f\; (\; x\; ,\; y\; )\; exp\; \; (\; 0\; )\; =\; \sum \; x\; =\; 0\; M\; -\; 1\; \sum \; y\; =\; 0\; N\; -\; 1\; f\; (\; x\; ,\; y\; )\; F(0,0)=\backslash sum\_\{x=0\}^\{M-1\}\; \backslash sum\_\{y=0\}^\{N-1\}\; f(x,\; y)\; \backslash exp\; (0)=\backslash sum\_\{x=0\}^\{M-1\}\; \backslash sum\_\{y=0\}^\{N-1\}\; f(x,\; y)$$F(0,0)=x=0∑M−1y=0∑N−1f(x,y)exp(0)=x=0∑M−1y=0∑N−1f(x,y)

---

  在将图像从空间域转换到频域后，作者构造了一个二进制掩蔽矩阵 $M\; \in \; \{\; 0\; ,\; 1\; \}\; H\; \times \; W\; \backslash mathbf\{M\}\; \backslash in\backslash \{0,1\backslash \}^\{H\; \backslash times\; W\}$M∈{0,1}H×W。作者引入了两个半径参数 $r\; 1\; ,\; r\; 2\; \in$ 0 , 0.5 r_1, r_2 \in0,0.5 r1,r2∈0,0.5 来控制光谱邻域的位置和比率被屏蔽 (r1<r2)。如图 3 所示， $M\; M$M 是通过将两个同心圆 (半径为 $r\; 1\; r\_1$r1 和 $r\; 2\; r\_2$r2) 之间的环空区域设置为 0 来构造的。 $\Delta \; r\; =\; r\; 2\; -\; r\; 1\; \backslash Delta\; r=r\_2-r\_1$Δr=r2−r1 决定掩码区域的大小。掩蔽区域的面积比定义为 $r\; p\; =\; r\; 2\; 2\; -\; r\; 1\; 2\; r\_p=r\_2^2-r\_1^2$rp=r22−r12。因此，作者提出了 3 种典型的掩蔽策略类型：擦除、噪声和交换。如果频率分量位于 $r\; 1\; r\_1$r1 和 $r\; 2\; r\_2$r2 之间，它将被屏蔽；否则，将保留频率信号 :
$$F\; ^\; (\; o\; i\; )\; =\; M\; \cdot \; F\; (\; o\; i\; )\; +\; (\; 1\; -\; M\; )\; \cdot \; F\; (\; Z\; )\; ,\; (7)\; \backslash hat\{\backslash mathcal\{F\}\}\backslash left(o\_i\backslash right)=\backslash mathbf\{M\}\; \backslash cdot\; \backslash mathcal\{F\}\backslash left(o\_i\backslash right)+(\backslash mathbf\{1\}-\backslash mathbf\{M\})\; \backslash cdot\; \backslash mathcal\{F\}(\backslash mathbf\{Z\}),\; \backslash tag\{7\}$$F^(oi)=M⋅F(oi)+(1−M)⋅F(Z),(7)

其中 $Z\; \backslash mathbf\{Z\}$Z 由特定的掩蔽策略计算。对于擦除策略，作者将 $Z\; \backslash mathbf\{Z\}$Z 设置为 $0\; H\; \times \; W\; \backslash mathbf\{0\}^\{H\; \backslash times\; W\}$0H×W，并且在后续训练中只会充分探索非掩码频率分量。随机噪声策略将 $Z\; \backslash mathbf\{Z\}$Z 设置为随机噪声图像。交换策略通过设置 $Z\; =\; I\; \backslash mathbf\{Z\}=\backslash mathbf\{I\}$Z=I 替换另一个图像 $I\; \backslash mathbf\{I\}$I 中具有相同频率分量的去除频率分量，该 $Z\; =\; I\; \backslash mathbf\{Z\}=\backslash mathbf\{I\}$Z=I 的灵感来自于 Cutmix 和 Mixup。考虑到第三方数据 $I\; \backslash mathbf\{I\}$I 并不总是可用的，在训练期间，作者随机打乱训练批次并从混洗批次中选择 $I\; =\; o\; j\; (\; j\; \ne \; i\; )\; \backslash mathbf\{I\}=o\_j(j\; \backslash neq\; i)$I=oj(j=i)，其中 $o\; j\; o\_j$oj 与 $o\; i\; o\_i$oi 具有相同的批次索引。

  掩蔽策略也会影响监督信号，因为它与 $o\; i\; o\_i$oi 相关。假设 $a\; i\; ,\; r\; i\; a\_i,\; r\_i$ai,ri 是观察 $o\; i\; o\_i$oi 的监督信号，其中 $a\; i\; a\_i$ai 和 $r\; i\; r\_i$ri 分别表示动作和奖励。对于擦除和随机噪声策略， $a\; i\; a\_i$ai 和 $r\; i\; r\_i$ri 保持不变。对于交换策略，监督信号取决于掩蔽区域 $r\; p\; r\_p$rp 的面积比。如果 rp<0.5，我们保持 $a\; i\; a\_i$ai 和 $r\; i\; r\_i$ri 不变，否则我们将 $a\; i\; ,\; r\; i\; a\_i,\; r\_i$ai,ri 替换为 $a\; j\; a\_j$aj 和 $r\; j\; r\_j$rj。

  一旦得到掩模傅里叶谱 ^F(oi)(u, v)，我们通过相应的傅里叶逆变换 $F\; -\; 1\; \backslash mathcal\{F\}^\{-1\}$F−1 将其逆变换恢复为空间域 :
$$o\; ^\; i\; (\; h\; ,\; w\; )\; =\; 1\; H\; W\; \sum \; h\; =\; 0\; H\; -\; 1\; \sum \; w\; =\; 0\; W\; -\; 1\; F\; ^\; (\; o\; i\; )\; (\; u\; ,\; v\; )\; e\; j\; 2\; \pi \; (\; u\; h\; /\; H\; +\; v\; w\; /\; W\; )\; \backslash hat\{o\}$$i(h, w)=\frac{1}{H W} \sum{h=0}^{H-1} \sum_{w=0}^{W-1} \hat{\mathcal{F}}\left(o_i\right)(u, v) e^{j 2 \pi(u h / H+v w / W)} o^i(h,w)=HW1h=0∑H−1w=0∑W−1F^(oi)(u,v)ej2π(uh/H+vw/W)

对于观测 $o\; i\; o\_i$oi，其下一个观测 $o\; i\; \prime \; o\_i\text{'}$oi′ 也经历了与 $o\; i\; o\_i$oi 相同的 SRM 操作。算法 1 详细说明了如何通过 SRM 生成新的样本。

---

算法 1 频谱随机掩蔽 (Spectrum Random Masking, SRM)

• 输入 : 采样一批状态转移 : $\{\; o\; i\; ,\; a\; i\; ,\; r\; i\; ,\; o\; i\; \prime \; \mid \; i\; =\; 1\; ,\; \cdots \; \hspace{0.17em}\; ,\; K\; \}\; \sim \; B\; \backslash left\backslash \{o\_i,\; a\_i,\; r\_i,\; o\_i^\{\backslash prime\}\; \backslash mid\; i=1,\; \backslash cdots,\; K\backslash right\backslash \}\; \backslash sim\; \backslash mathcal\{B\}${oi,ai,ri,oi′∣i=1,⋯,K}∼B; 零矩阵 $0\; \in \; R\; H\; \times \; W\; \backslash mathbf\{0\}\; \backslash in\; \backslash mathbb\{R\}^\{H\; \backslash times\; W\}$0∈RH×W; 随机噪声图谱 $N\; \in \; R\; H\; \times \; W\; \backslash mathbf\{N\}\; \backslash in\; \backslash mathbb\{R\}^\{H\; \backslash times\; W\}$N∈RH×W; 掩蔽矩阵 $M\; \in \; \{\; 0\; ,\; 1\; \}\; H\; \times \; W\; \backslash mathbf\{M\}\; \backslash in\backslash \{0,1\backslash \}^\{H\; \backslash times\; W\}$M∈{0,1}H×W。
• 输出 : 强化的状态转移 $\{\; o\; ^\; i\; ,\; a\; ^\; i\; ,\; r\; ^\; i\; ,\; o\; ^\; i\; \prime \; \mid \; i\; =\; 1\; ,\; \cdots \; \hspace{0.17em}\; ,\; K\; \}\; \backslash left\backslash \{\backslash hat\{o\}\_i,\; \backslash hat\{a\}\_i,\; \backslash hat\{r\}\_i,\; \backslash hat\{o\}\_i^\{\backslash prime\}\; \backslash mid\; i=1,\; \backslash cdots,\; K\backslash right\backslash \}${o^i,a^i,r^i,o^i′∣i=1,⋯,K}
• 初始化 : $r\; 1\; \leftarrow \; Rand\; \; (\; 0\; ,\; 0.5\; )\; ,\; r\; 2\; \leftarrow \; Rand\; \; (\; r\; 1\; ,\; 0.5\; )\; ,\; \Delta \; r\; =\; r\; 2\; -\; r\; 1\; ,\; r\; p\; =\; r\; 2\; 2\; -\; r\; 1\; 2\; r\_1\; \backslash leftarrow\; \backslash operatorname\{Rand\}(0,0.5),\; r\_2\; \backslash leftarrow\; \backslash operatorname\{Rand\}\backslash left(r\_1,\; 0.5\backslash right),\; \backslash Delta\; r=r\_2-r\_1,\; r\_p=r\_2^2-r\_1^2$r1←Rand(0,0.5),r2←Rand(r1,0.5),Δr=r2−r1,rp=r22−r12
  1. for $i\; =\; 1\; ,\; \cdots \; \hspace{0.17em}\; ,\; K\; i=1,\; \backslash cdots,\; K$i=1,⋯,K do :
  2. 根据式 (6) 进行快速傅里叶变换: $F\; (\; o\; i\; )\; \leftarrow \; o\; i\; \backslash mathcal\{F\}\backslash left(o\_i\backslash right)\; \backslash leftarrow\; o\_i$F(oi)←oi
  3. if 掩蔽策略是 'Erasing' (擦除) :
  4.    $F\; ^\; (\; o\; i\; )\; =\; M\; \cdot \; F\; (\; o\; i\; )\; +\; (\; 1\; -\; M\; )\; \cdot \; F\; (\; 0\; )\; ,\; a\; i\; ^\; \leftarrow \; a\; i\; ,\; r\; i\; ^\; \leftarrow \; r\; i\; \backslash hat\{\backslash mathcal\{F\}\}\backslash left(o\_i\backslash right)=\backslash mathbf\{M\}\; \backslash cdot\; \backslash mathcal\{F\}\backslash left(o\_i\backslash right)+(\backslash mathbf\{1\}-\backslash mathbf\{M\})\; \backslash cdot\; \backslash mathcal\{F\}(\backslash mathbf\{0\}),\; \backslash hat\{a\_i\}\; \backslash leftarrow\; a\_i,\; \backslash hat\{r\_i\}\; \backslash leftarrow\; r\_i$F^(oi)=M⋅F(oi)+(1−M)⋅F(0),ai^←ai,ri^←ri
  5. else if 掩蔽策略是 'Noise' (噪声) :
  6.    $F\; ^\; (\; o\; i\; )\; =\; M\; \cdot \; F\; (\; o\; i\; )\; +\; (\; 1\; -\; M\; )\; \cdot \; F\; (\; N\; )\; ,\; a\; i\; ^\; \leftarrow \; a\; i\; ,\; r\; ^\; i\; \leftarrow \; r\; i\; \backslash hat\{\backslash mathcal\{F\}\}\backslash left(o\_i\backslash right)=\backslash mathbf\{M\}\; \backslash cdot\; \backslash mathcal\{F\}\backslash left(o\_i\backslash right)+(\backslash mathbf\{1\}-\backslash mathbf\{M\})\; \backslash cdot\; \backslash mathcal\{F\}(\backslash mathbf\{N\}),\; \backslash hat\{a\_i\}\; \backslash leftarrow\; a\_i,\; \backslash hat\{r\}\_i\; \backslash leftarrow\; r\_i$F^(oi)=M⋅F(oi)+(1−M)⋅F(N),ai^←ai,r^i←ri
  7. else if 掩蔽策略是 'Swapping' (交换) :
  8.   Random Shuffle Batch: $\{\; o\; j\; ,\; a\; j\; ,\; r\; j\; ,\; o\; j\; \prime \; \mid \; j\; =\; 1\; ,\; \cdots \; \hspace{0.17em}\; ,\; K\; \}\; \backslash left\backslash \{o\_j,\; a\_j,\; r\_j,\; o\_j^\{\backslash prime\}\; \backslash mid\; j=1,\; \backslash cdots,\; K\backslash right\backslash \}${oj,aj,rj,oj′∣j=1,⋯,K}
  9.    $F\; ^\; (\; o\; i\; )\; =\; M\; \cdot \; F\; (\; o\; i\; )\; +\; (\; 1\; -\; M\; )\; \cdot \; F\; (\; o\; j\; )\; \backslash hat\{\backslash mathcal\{F\}\}\backslash left(o\_i\backslash right)=\backslash mathbf\{M\}\; \backslash cdot\; \backslash mathcal\{F\}\backslash left(o\_i\backslash right)+(\backslash mathbf\{1\}-\backslash mathbf\{M\})\; \backslash cdot\; \backslash mathcal\{F\}\backslash left(o\_j\backslash right)$F^(oi)=M⋅F(oi)+(1−M)⋅F(oj)
  10.   if $r\; p\; \le \; 0.5\; r\_p\; \backslash leq\; 0.5$rp≤0.5 then
  11.      $a\; ^\; i\; \leftarrow \; a\; i\; ,\; r\; ^\; i\; \leftarrow \; r\; i\; \backslash hat\{a\}\_i\; \backslash leftarrow\; a\_i,\; \backslash hat\{r\}\_i\; \backslash leftarrow\; r\_i$a^i←ai,r^i←ri
  12.   else
  13.      $a\; ^\; i\; \leftarrow \; a\; j\; ,\; r\; ^\; i\; \leftarrow \; r\; j\; \backslash hat\{a\}\_i\; \backslash leftarrow\; a\_j,\; \backslash hat\{r\}\_i\; \backslash leftarrow\; r\_j$a^i←aj,r^i←rj
  14.   end if
  15. end if
  16. 根据式 8 进行傅里叶反变换: $o\; ^\; i\; \leftarrow \; F\; ^\; (\; o\; i\; )\; \backslash hat\{o\}\_i\; \backslash leftarrow\; \backslash hat\{\backslash mathcal\{F\}\}\backslash left(o\_i\backslash right)$o^i←F^(oi)
  17. 使用 $o\; i\; \prime \; o\_i^\{\backslash prime\}$oi′ 重复步骤 (2)~(15) 以获得 $o\; ^\; i\; \prime \; \backslash hat\{o\}\_i^\{\backslash prime\}$o^i′
  18. end for

---

3.2 基于 SRM 的强化学习

  在非策略强化学习中，观察是从重放缓冲区中采样的。在 RL 中使用数据增强的一种直观方法是在将它们传递给代理进行训练之前执行增强。同时，堆叠连续状态帧 $s\; t\; =\; \{\; o\; t\; ,\; o\; t\; -\; 1\; ,\; o\; t\; -\; 2\; \}\; s\_t=\backslash left\backslash \{o\_t,\; o\_\{t-1\},\; o\_\{t-2\}\backslash right\backslash \}$st={ot,ot−1,ot−2} 上的增强过程应该是一致的，以保持时间信息 (如位置和速度) 不变。给定一个参数为 $v\; \in \; V\; v\; \backslash in\; \backslash mathcal\{V\}$v∈V 的增强函数 $\tau \; (\; \cdot \; ,\; v\; )\; \backslash tau(\backslash cdot,\; v)$τ(⋅,v)，原始观察 $s\; t\; \in \; O\; s\_t\; \backslash in\; \backslash mathcal\{O\}$st∈O 的增强观察 $s\; ^\; t\; \in \; O\; ^\; \backslash hat\{s\}\_t\; \backslash in\; \backslash hat\{\backslash mathcal\{O\}\}$s^t∈O^ 可以通过 $s\; ^\; t\; =\; \tau \; (\; s\; t\; ,\; v\; )\; \backslash hat\{s\}\_t=\backslash tau\backslash left(s\_t,\; v\backslash right)$s^t=τ(st,v) 获得。最优地， $\tau \; :\; O\; \times \; V\; \to \; O\; ^\; \backslash tau:\; \backslash mathcal\{O\}\; \backslash times\; \backslash mathcal\{V\}\; \backslash rightarrow\; \backslash hat\{\backslash mathcal\{O\}\}$τ:O×V→O^ 应该保持代理的 Q 值和策略 $\pi \; \backslash pi$π :
{Q(st,at)π(at∣st)=Q(τ(st,v),at),=π(at∣τ(st,v)),(9)

其中 $a\; t\; \in \; A\; a\_t\; \backslash in\; \backslash mathcal\{A\}$at∈A 是状态 $s\; t\; s\_t$st 下的动作。然而，实际上即使从原始观察中学习值和策略函数是不稳定的，更不用说外观差异很大的增强数据。因此，RL 优化中只能采用随机移位和随机裁剪等弱数据增强，如 DrQ 和 RAD。相比之下，随机卷积和旋转等强数据增强总是以特定方式应用。在 SVEA 中，原始图像和增强图像都用于优化 q 函数，但只采用前者计算 Bellman 方程的 q 目标。在 SECANT 中，弱增强的专家策略引导学生策略具有很强的增强学习鲁棒表示。直观地说，正如我们将在实验部分展示的那样，SRM 具有弱数据增强和强数据增强的优点 : 它可以以普通方式插入任何基于图像的 RL 方法，同时提供显着的性能提升。

  在训练期间，我们在每批观察上应用概率为 0.5 的 SRM。在测试时没有应用数据增强。为了评估 SRM 的有效性，我们采用 DrQ 和 SVEA 两种流行的方法作为我们的基本算法。前者是一种将数据增强直接插入 RL 算法的简单方法，相应的 SAC 目标分别替换为 :
$$J\; Q\; =\; E\; (\; s\; t\; ,\; a\; t\; )\; \sim \; D$$ ( Q ( s t , a t ) + Q ( s \^ t , a \^ t ) ) 2 − ( r t + γ V ˉ ( s t + 1 ) + V ˉ ( s \^ t + 1 ) 2 ) 2 . (10) J_Q=\mathbb{E}_{\left(s_t, a_t\right) \sim \mathcal{D}}\left\\frac{\\left(Q\\left(s_t, a_t\\right)+Q\\left(\\hat{s}_t, \\hat{a}_t\\right)\\right)}{2}-\\left(r_t+\\gamma \\frac{\\bar{V}\\left(s_{t+1}\\right)+\\bar{V}\\left(\\hat{s}_{t+1}\\right)}{2}\\right)\^2\\right .\tag{10} JQ=E(st,at)∼D2(Q(st,at)+Q(s\^t,a\^t))−(rt+γ2Vˉ(st+1)+Vˉ(s\^t+1))2.(10)

  而后者精心设计，其中 Q-target 是使用从未增强数据严格计算的，以缓解高方差的问题，其目标是 :
$$J\; Q\; =\; E\; (\; s\; t\; ,\; a\; t\; )\; \sim \; D$$ ( Q ( s t , a t ) + Q ( s \^ t , a \^ t ) ) 2 − ( r t + γ V ˉ ( s t + 1 ) ) 2 (11) J_Q=\mathbb{E}_{\left(s_t, a_t\right) \sim \mathcal{D}}\left\\frac{\\left(Q\\left(s_t, a_t\\right)+Q\\left(\\hat{s}_t, \\hat{a}_t\\right)\\right)}{2}-\\left(r_t+\\gamma \\bar{V}\\left(s_{t+1}\\right)\\right)\^2\\right\tag{11} JQ=E(st,at)∼D2(Q(st,at)+Q(s\^t,a\^t))−(rt+γVˉ(st+1))2(11)

  通过在方程式 (4) 和 (5) 中联合求解具有策略和价值网络的 Q 函数，RL 系统有可能从不同的观察中学习以进行策略学习。

4.实验

  略。

5.感想

  这个方法整体来说感觉是一种很有意思的数据增强的方法，对于傅里叶变换部分我需要进一步的思考和理解。

6.参考资料

• Fourier transform wikipedia
• 傅里叶级数维基百科中文