通用近似定理（Universal Approximation Theorem）表明：
一个至少有一个隐藏层的神经网络【输入层-隐藏层-输出层】，同时要求激活函数有挤压性质，如 Sigmoid 函数、ReLU 函数，且输出层是线性的。这样的神经网络在隐藏层神经元足够多的情况下，能以任意的精度去近似任何连续函数。
证明：
Step1. 问题定义：设F是一个定义在n维单位立方体 0 , 1 n 0,1^n 0,1n上的连续函数族， C ( 0 , 1 n ) C(0,1^n) C(0,1n)表示上的连续函数空间，对于 f ∈ F f \in F f∈F，我们希望用一个神经网络来逼近这个函数。
Step2. 构造单层前馈神经网络：输入 x = ( x 1 , x 2 , ⋯ , x n ) ∈ 0 , 1 n x = (x_1, x_2, \cdots, x_n) \in 0, 1^n x=(x1,x2,⋯,xn)∈0,1n，输出为y，隐藏层有m个神经元，激活函数为 σ \sigma σ，输出层为线性函数y， w i w_i wi是输出权重， v i , j v_{i,j} vi,j是输入权重， b i b_i bi是偏置，则输出函数可表示为，其实 w i w_i wi是我们的要学习的参数
y = ∑ i = 1 m w i σ ( ∑ j = 1 n v i j x j + b i ) y = \sum_{i = 1}^{m} w_{i} \sigma \left( \sum_{j = 1}^{n} v_{ij} x_{j}+b_{i} \right) y=i=1∑mwiσ(j=1∑nvijxj+bi)
Step3. 构造损失函数：
E = ∫ 0 , 1 n ( y − f ( x ) ) 2 d x E = \int_{0,1^n} (y - f(x))^2 dx E=∫0,1n(y−f(x))2dx
Step4. Weierstrass 逼近定理表明对于任意给定的在闭区间上连续的函数，可以用 多项式函数 来逼近。由于激活函数 σ \sigma σ是连续的， ∀ ϵ > 0 , ∃ p ( x ) , s.t. ∣ σ ( x ) − p ( x ) ∣ < ϵ , ∀ x ∈ R \forall \epsilon > 0, \exists p(x) \text{ }, \text{ s.t. }|\sigma(x)-p(x)|<\epsilon, \forall x\in\mathbb{R} ∀ϵ>0,∃p(x) , s.t. ∣σ(x)−p(x)∣<ϵ,∀x∈R
进而化简误差函数和目标函数：
y = ∑ i = 1 m w i p ( ∑ j = 1 n v i j x j + b i ) E = ∫ 0 , 1 n ( ∑ i = 1 m w i p ( ∑ j = 1 n v i j x j + b i ) − f ( x ) ) 2 d x y = \sum_{i = 1}^{m} w_{i}p(\sum_{j = 1}^{n} v_{ij}x_{j}+b_{i}) \\ E = \int_{0,1^n} \left( \sum_{i = 1}^{m} w_{i}p \left( \sum_{j = 1}^{n} v_{ij}x_{j}+b_{i} \right) - f(x) \right)^2 dx y=i=1∑mwip(j=1∑nvijxj+bi)E=∫0,1n(i=1∑mwip(j=1∑nvijxj+bi)−f(x))2dx
Step5. 由于 f f f是连续函数， p p p是多项式函数，所以函数 ∑ i = 1 m w i p ( ∑ j = 1 n v i j x j + b i ) − f ( x ) \sum_{i = 1}^{m} w_{i}p\left(\sum_{j = 1}^{n} v_{ij}x_{j}+b_{i}\right)-f(x) ∑i=1mwip(∑j=1nvijxj+bi)−f(x)是连续函数。根据连续函数在闭区间上的性质(Weierstrass逼近定理)，对于任意的 ϵ > 0 \epsilon > 0 ϵ>0，存在一个正数 M M M，使得对于所有的 x ∈ 0 , 1 n x\in 0, 1^{n} x∈0,1n
∣ ∑ i = 1 m w i p ( ∑ j = 1 n v i j x j + b i ) − f ( x ) ∣ < ϵ 2 \left|\sum_{i = 1}^{m} w_{i}p\left(\sum_{j = 1}^{n} v_{ij}x_{j}+b_{i}\right)-f(x)\right| < \frac{\epsilon}{2} i=1∑mwip(j=1∑nvijxj+bi)−f(x) <2ϵ
绝对值小于，则去绝对值号可得到 ∫ 0 , 1 n ( f ( x ) − f ( x ′ ) ) d x < ϵ 2 \int_{0,1^n} (f(x) - f(x')) \, dx < \frac{\epsilon}{2} ∫0,1n(f(x)−f(x′))dx<2ϵ 得证。其实本质就是根据微分法将定义域区间划分为若干的小立方体，那么在每个小立方体上都可以用一个多项式函数 p i p_i pi来逼近 f ( x ) f(x) f(x)在该小立方体的上取值，将这些多项式函数组合即可得到y。
Step6. 最终可以使得对于所有的 x ∈ 0 , 1 n x \in 0, 1^n x∈0,1n，有 ∣ y − f ( x ) ∣ < ϵ \vert y - f(x) \vert < \epsilon ∣y−f(x)∣<ϵ，其中 ϵ \epsilon ϵ是一个任意小的正数，表示逼近的精度。得证神经网络可以以任意精度逼近任意非线性函数。