逼近
由离散点（函数表）给出函数关系通常有两种方法：
- 使用多项式插值
使用多项式插值会带来两个问题：1. 龙格现象2. 数值本身带有误差，使用插值条件来确定函数关系不合理 - 三次样条插值
三次样条插值克服了龙格现象，但计算量大。
曲线拟合的最小二乘法可以克服龙格现象，同时不会有大计算量。
用函数序列 p n ( x ) {p_n(x)} pn(x) 去近似一个函数 f ( x ) {f(x)} f(x) ，称为逼近 。用函数 Φ {\Phi} Φ 去近似一堆离散点，称为拟合 。
最小二乘法是最佳平方逼近的离散情形。
使用多项式拟合时，如果要拟合的多项式次数等于离散点的个数减一，则最小二乘拟合多项式与多项式插值得到的插值多项式相同。
用多项式做最小二乘的基函数，当 n {n} n 较大时，法方程组的解对初始数据的微小变化非常敏感，属于"病态"问题。所以通过使用正交多项式来避免求解法方程组。
极值原理 在有限集合中存在最大值和最小值。
最小二乘准则 即损失函数
L = ∑ i = 1 n ( y i − f ( x i ) ) 2 L= \sum_{i=1}^{ n} (y_i-f(x_i))^2 L=i=1∑n(yi−f(xi))2
最小。法方程是从损失函数取极小值的必要条件推来的。
非线性拟合，就是指用来拟合离散点的函数不是某些函数的线性组合，或者说是关于待定参数的非线性函数。
矛盾方程系数矩阵列向量线性无关，则方程组相容，从而可以解除矛盾方程在最小二乘意义下的最佳近似解。matlab左除""可以求解矛盾方程
曲线拟合问题
逼近 用类似简化的函数来拟合一堆数据点。
曲线拟合问题 求函数 ϕ ( x ) ∈ Φ {\phi(x)\in \Phi} ϕ(x)∈Φ ，使得 ϕ ( x ) {\phi(x)} ϕ(x) 在离散点上的误差向量
δ = [ δ 0 δ 1 ⋮ δ m ] = [ ϕ ( x 0 ) − y 0 ϕ ( x 1 ) − y 1 ⋮ ϕ ( x m ) − y m ] \delta = \begin{bmatrix} \delta_0\\ \delta_1 \\ \vdots \\ \delta_m \end{bmatrix}= \begin{bmatrix} \phi(x_0)-y_0\\ \phi(x_1)-y_1 \\ \vdots \\ \phi(x_m)-y_m \end{bmatrix} δ= δ0δ1⋮δm = ϕ(x0)−y0ϕ(x1)−y1⋮ϕ(xm)−ym
按某一向量范数 ∣ ∣ δ ∣ ∣ {|| \delta ||} ∣∣δ∣∣ 达到最小。
当范数取 2 {2} 2 范数，即为最小二乘法。
正交多项式
Schmidt正交化：
g n ( x ) = f n ( x ) − ∑ i = 0 n − 1 ( f n , g i ) ( g i , g i ) g i ( x ) g_n(x)=f_n(x)- \sum_{i=0}^{ n-1} \frac{(f_n,g_i)}{(g_i,g_i)}g_i(x) gn(x)=fn(x)−i=0∑n−1(gi,gi)(fn,gi)gi(x)
由 1 , x , x 2 , ⋯ x n {1,x,x^2, \cdots x^n} 1,x,x2,⋯xn 经过Schmidt正交化得到的多项式 P 0 ( x ) , P 1 ( x ) , ⋯ , P n ( x ) {P_0(x),P_1(x),\cdots ,P_n(x)} P0(x),P1(x),⋯,Pn(x) 称为 [ a , b ] {[a,b]} [a,b] 上的正交多项式。
- 求内积时候要带上权函数！
!example\]- 求区间 \[ − 1 , 1 \] {\[-1,1\]} \[−1,1\] 上权函数为 ρ ( x ) = x 2 {\\rho(x)=x\^2} ρ(x)=x2 的二次正交多项式 P 2 ( x ) {P_2(x)} P2(x) 。（说了二次，只写到2次项，不然要加...） 解： P 0 ( x ) = 1 P 1 ( x ) = x − ( x , 1 ) ( 1 , 1 ) × 1 = x − ∫ − 1 1 x ⋅ 1 ⋅ x 2 d x ∫ − 1 1 x 2 d x = x P 2 ( x ) = x 2 − ( x 2 , 1 ) ( 1 , 1 ) × 1 − ( x 2 , x ) ( x , x ) × x = x 2 − ∫ − 1 1 x 2 ⋅ 1 ⋅ x 2 d x ∫ − 1 1 x 2 d x × 1 − ∫ − 1 1 x 2 ⋅ x ⋅ x 2 d x ∫ − 1 1 x ⋅ x ⋅ x 2 d x × x = x 2 − 2 / 5 2 / 3 = x 2 − 3 5 \\begin{align\*} P_0(x)=\&1 \\\\ \\\\ P_1(x)=\& x- \\frac{(x,1)}{(1,1)} \\times 1=x- \\frac{\\int_{ -1 }\^{1} x \\cdot 1 \\cdot x\^2 \\mathrm dx}{\\int_{ -1 }\^{1} x\^2 \\mathrm dx}=x \\\\ \\\\ P_2(x)=\&x\^2- \\frac{(x\^2,1)}{(1,1)}\\times 1- \\frac{(x\^2,x)}{(x,x)} \\times x \\\\ \\\\ =\&x\^2- \\frac{\\int_{ -1 }\^{1} x\^2 \\cdot 1 \\cdot x\^2 \\mathrm dx}{\\int_{ -1 }\^{1} x\^2 \\mathrm dx} \\times 1- \\frac{\\int_{ -1 }\^{1} x\^2 \\cdot x \\cdot x\^2 \\mathrm dx}{\\int_{ -1 }\^{1} x \\cdot x \\cdot x\^2 \\mathrm dx} \\times x \\\\ \\\\ =\& x\^2- \\frac{2/5}{2/3}=x\^2- \\frac{3}{5} \\end{align\*} P0(x)=P1(x)=P2(x)===1x−(1,1)(x,1)×1=x−∫−11x2dx∫−11x⋅1⋅x2dx=xx2−(1,1)(x2,1)×1−(x,x)(x2,x)×xx2−∫−11x2dx∫−11x2⋅1⋅x2dx×1−∫−11x⋅x⋅x2dx∫−11x2⋅x⋅x2dx×xx2−2/32/5=x2−53