一、有限维到无限维
本节将会从有限维空间转到无限维空间，将会解释无限维空间中的线性代数，并证明以前的大部分结论仍然适用。首先，回顾一下向量、点积和线性组合，我们会先将这些基本定义推广到无限维的情形 ------ 剩下的结果自然就可以得出了。
向量有无穷多个分量意味着什么呢？下面有两种答案，都很好：
- 向量是无限长的： v = ( v 1 , v 2 , v 3 , ⋯ ) \boldsymbol v=(v_1,v_2,v_3,\cdots) v=(v1,v2,v3,⋯)，如 ( 1 , 1 2 , 1 4 , ⋯ ) (1,\dfrac{1}{2},\dfrac{1}{4},\cdots) (1,21,41,⋯).
- 向量是一个函数 f ( x ) f(x) f(x)，如 v = sin x \boldsymbol v=\sin x v=sinx.
这两种定义我们都会使用，傅里叶级数可以将它们联系起来。
有了向量的定义后就是点积，两个无限维向量 ( v 1 , v 2 , v 3 , ⋯ ) (v_1,v_2,v_3,\cdots) (v1,v2,v3,⋯) 和 ( w 1 , w 2 , w 3 , ⋯ ) (w_1,w_2,w_3,\cdots) (w1,w2,w3,⋯) 的自然点积是一个无穷级数：
点积 v ⋅ w = v 1 w 1 + v 2 w 2 + v 3 w 3 + ⋯ ( 10.5.1 ) \pmb{点积}\kern 15pt{\color{blue}\boldsymbol v\cdot\boldsymbol w=v_1w_1+v_2w_2+v_3w_3+\cdots}\kern 20pt(10.5.1) 点积v⋅w=v1w1+v2w2+v3w3+⋯(10.5.1)
这带来了一个新的问题，而有限维空间 R n \pmb{\textrm R}^n Rn 中的向量就绝对不会出现这样的问题。这个问题就是这个无穷级数的和是一个有限数吗？即这个级数收敛吗？这是有限和无限情形中的第一个也是最大的一个不同。
当 v = w = ( 1 , 1 , 1 , ⋯ ) \boldsymbol v=\boldsymbol w=(1,1,1,\cdots) v=w=(1,1,1,⋯) 时，这个级数肯定不收敛，此时 v ⋅ w = 1 + 1 + 1 + ⋯ \boldsymbol v\cdot\boldsymbol w=1+1+1+\cdots v⋅w=1+1+1+⋯ 是无穷大。由于 v = w \boldsymbol v=\boldsymbol w v=w，我们实际上计算的是 v ⋅ v = ∣ ∣ v ∣ ∣ 2 \boldsymbol v\cdot\boldsymbol v=||\boldsymbol v||^2 v⋅v=∣∣v∣∣2，即向量长度的平方。向量 ( 1 , 1 , 1 , ⋯ ) (1,1,1,\cdots) (1,1,1,⋯) 的长度是无穷大，我们不考虑这样的向量。由于现在是我们在制定规则，而我们不想要这样的向量，我们只考虑长度有限的向量：
定义： \kern 5pt 当且仅当向量 v = ( v 1 , v 2 , v 3 , ⋯ ) \boldsymbol v=(v_1,v_2,v_3,\cdots) v=(v1,v2,v3,⋯) 和函数 f ( x ) f(x) f(x) 的模 ∣ ∣ v ∣ ∣ ||\boldsymbol v|| ∣∣v∣∣ 和 ∣ ∣ f ∣ ∣ ||f|| ∣∣f∣∣ 是有限的，它们才在无限维的 "希尔伯特空间（Hilbert spaces） " 中： ∣ ∣ v ∣ ∣ 2 = v ⋅ v = v 1 2 + v 2 2 + v 3 2 + ⋯ 一定是有限数 ∣ ∣ f ∣ ∣ 2 = ( f , f ) = ∫ 0 2 π ∣ f ( x ) ∣ 2 d x 一定是有限积分 \begin{array}{ll}\color{blue}||\boldsymbol v||^2=\boldsymbol v\cdot\boldsymbol v=v_1^2+v_2^2+v_3^2+\cdots&\color{blue}一定是有限数\\\color{blue}||f||^2=(f,f)=\int_0^{2π}|f(x)|^2\,\textrm dx&\color{blue}一定是有限积分\end{array} ∣∣v∣∣2=v⋅v=v12+v22+v32+⋯∣∣f∣∣2=(f,f)=∫02π∣f(x)∣2dx一定是有限数一定是有限积分【例1 】向量 v = ( 1 , 1 2 , 1 4 , ⋯ ) \boldsymbol v=(1,\dfrac{1}{2},\dfrac{1}{4},\cdots) v=(1,21,41,⋯) 在希尔伯特空间中，这是因为它长度是 2 3 \dfrac{2}{\sqrt3} 3 2. 这里计算中的几何级数的和为 4 3 \dfrac{4}{3} 34， v \boldsymbol v v 的长度就是这个几何级数的平方根： 长度的平方 v ⋅ v = 1 + 1 4 + 1 16 + ⋯ = 1 1 − 1 4 = 4 3 \pmb{长度的平方}\kern 15pt\boldsymbol v\cdot\boldsymbol v=1+\dfrac{1}{4}+\dfrac{1}{16}+\cdots=\dfrac{1}{1-\dfrac{1}{4}}=\dfrac{4}{3} 长度的平方v⋅v=1+41+161+⋯=1−411=34问题：如果 v \boldsymbol v v 和 w \boldsymbol w w 的长度是有限的，那么它们的点积可以有多大？
答： 点积 v ⋅ w = v 1 w 1 + v 2 w 2 + v 3 w 3 + ⋯ \boldsymbol v\cdot\boldsymbol w=v_1w_1+v_2w_2+v_3w_3+\cdots v⋅w=v1w1+v2w2+v3w3+⋯ 仍然是一个有限数，我们可以安全的求点积。施瓦茨不等式仍然成立：
施瓦茨不等式 Schwarz inequality ∣ v ⋅ w ∣ ≤ ∣ ∣ v ∣ ∣ ∣ ∣ w ∣ ∣ ( 10.5.2 ) \pmb{施瓦茨不等式}\kern 5pt\textrm{\pmb{Schwarz inequality}}\kern 15pt{\color{blue}{|\boldsymbol v\cdot\boldsymbol w|\le||\boldsymbol v||\,||\boldsymbol w||}}\kern 15pt(10.5.2) 施瓦茨不等式Schwarz inequality∣v⋅w∣≤∣∣v∣∣∣∣w∣∣(10.5.2)
v ⋅ w \boldsymbol v\cdot\boldsymbol w v⋅w 和 ∣ ∣ v ∣ ∣ ∣ ∣ w ∣ ∣ ||\boldsymbol v||\,||\boldsymbol w|| ∣∣v∣∣∣∣w∣∣ 的比值仍然是 θ \theta θ（ v \boldsymbol v v 和 w \boldsymbol w w 之间的夹角）的余弦值，即使在无限维空间中， ∣ cos θ ∣ |\cos\theta| ∣cosθ∣ 也不会超过 1 1 1.
现在我们转到函数，它们也是 "向量"。定义在 0 ≤ x ≤ 2 π 0\le x\le2π 0≤x≤2π 上的函数 f ( x ) , g ( x ) , h ( x ) , ⋯ f(x),g(x),h(x),\cdots f(x),g(x),h(x),⋯ 空间某种意义上要比 R n \textrm{\textrm R}^n Rn 大。现在问题是 f ( x ) \pmb{f(x)} f(x) 和 g ( x ) \pmb{g(x)} g(x) 的点积是什么？ f ( x ) \pmb{f(x)} f(x) 的长度是多少？
这种连续情形的关键：用积分代替求和。 f ( x ) f(x) f(x) 和 g ( x ) g(x) g(x) 的点积不再是无穷级数 v j v_j vj 乘 w j w_j wj 的和，而是 f ( x ) f(x) f(x) 乘 g ( x ) g(x) g(x) 的积分，将 "点" 变为带逗号的括号，并且将 "点积" 改为内积（inner product）：
定义 f ( x ) \kern 15ptf(x) f(x) 和 g ( x ) g(x) g(x) 的内积 ， f ( x ) f(x) f(x) 的长度平方 分别是： ( f , g ) = ∫ 0 2 π f ( x ) g ( x ) d x , ∣ ∣ f ∣ ∣ 2 = ∫ 0 2 π ( f ( x ) ) 2 d x ( 10.5.3 ) {\color{blue}(f,g)=\int_0^{2π}f(x)g(x)\,\textrm dx,\kern 20pt||f||^2=\int_0^{2π}(f(x))^2\,\textrm dx}\kern 25pt(10.5.3) (f,g)=∫02πf(x)g(x)dx,∣∣f∣∣2=∫02π(f(x))2dx(10.5.3)
函数定义的区间 [ 0 , 2 π ] [0,2π] [0,2π] 可以换成不同的区间，如 [ 0 , 1 ] [0,1] [0,1] 或 ( − ∞ , + ∞ ) (-\infty,+\infty) (−∞,+∞)，这里选择 2 π 2π 2π 是因为下面的例子是 sin x \sin x sinx 和 cos x \cos x cosx.
【例2 】 f ( x ) = sin x f(x)=\sin x f(x)=sinx 的长度来自于它和它自己的内积： ( f , f ) = ∫ 0 2 π ( sin x ) 2 d x = π . 则 sin x 的长度为 π . (f,f)=\int_0^{2π}(\sin x)^2\,\textrm dx=π.\kern 15pt则\,\sin x\,的长度为\,\sqrtπ. (f,f)=∫02π(sinx)2dx=π.则sinx的长度为π .这是微积分中的一个标准的积分 ------ 不是线性代数中的内容。我们将 sin 2 x \sin^2x sin2x 写成 1 2 − 1 2 cos 2 x \dfrac{1}{2}-\dfrac{1}{2}\cos2x 21−21cos2x，我们可以看到这个函数在平均值 1 2 \dfrac{1}{2} 21 的上下波动，这个平均值乘上区间长度 2 π 2π 2π 就是答案 π π π.
更重要的是：sin x \sin x sinx 和 cos x \cos x cosx 在函数空间中正交 ： ( f , g ) = 0 (f,g)=0 (f,g)=0 内积为零 ( f , g ) = ∫ 0 2 π sin x cos x d x = ∫ 0 2 π 1 2 sin 2 x d x = − 1 4 cos 2 x ∣ 0 2 π = 0 ( 10.5.4 ) \pmb{内积为零}\kern 20pt(f,g)=\int_0^{2π}\sin x\cos x\,\textrm dx=\int_0^{2π}\dfrac{1}{2}\sin 2x\,\textrm dx=-\dfrac{1}{4}\cos2x\Big|_0^{2π}=0\kern 15pt(10.5.4) 内积为零(f,g)=∫02πsinxcosxdx=∫02π21sin2xdx=−41cos2x 02π=0(10.5.4)这个零并非偶然，它在科学中非常重要。正交性不仅体现在 sin x \sin x sinx 和 cos x \cos x cosx 这两个函数上，还体现在包含正弦和余弦函数的无限序列中。这个序列包含： cos 0 x （即 1 ） , sin x , cos x , sin 2 x , cos 2 x , sin 3 x , cos 3 x , ⋯ \cos0x（即\,1）,\sin x,\cos x,\sin 2x,\cos2x,\sin 3x,\cos3x,\cdots cos0x（即1）,sinx,cosx,sin2x,cos2x,sin3x,cos3x,⋯，这个序列中的任意两个函数均正交。
二、傅里叶级数
函数 f ( x ) f(x) f(x) 的傅里叶级数就是将其展开为正弦和余弦函数之和：
f ( x ) = a 0 + a 1 cos x + b 1 sin x + a 2 cos 2 x + b 2 cos 2 x + ⋯ ( 10.5.5 ) f(x)=\pmb{a_0+a_1\cos x+b_1\sin x+a_2\cos 2x+b_2\cos 2x+\cdots}\kern 20pt(10.5.5) f(x)=a0+a1cosx+b1sinx+a2cos2x+b2cos2x+⋯(10.5.5)
这里有一组正交基！这个 "函数空间" 中的向量是正弦函数和余弦函数的线性组合。在区间 x ∈ [ 2 π , 4 π ] x\in[2π,4π] x∈[2π,4π] 中，我们所考虑的函数都重复它们在 x ∈ [ 0 , 2 π ] x\in[0,2π] x∈[0,2π] 之间的行为，它们是 "周期的"，周期为 2 π 2π 2π.
需要记住的是：这个函数列是无限的，傅里叶级数是一般是一个无穷级数。我们避免考虑向量 v = ( 1 , 1 , 1 , ⋯ ) \boldsymbol v=(1,1,1,\cdots) v=(1,1,1,⋯) 是因为它的长度无限，现在我们也避免考虑如 1 2 + cos x + cos 2 x + cos 3 x + ⋯ \dfrac{1}{2}+\cos x+\cos2x+\cos3x+\cdots 21+cosx+cos2x+cos3x+⋯ 这样的函数，注：这个是 π π π 乘上著名的德尔塔 delta 函数 δ ( x ) \delta(x) δ(x)，它在一个单点处是无限 "尖峰(spike)"，在 x = 0 x=0 x=0 处的高度 1 2 + 1 + 1 + ⋯ \dfrac{1}{2}+1+1+\cdots 21+1+1+⋯ 为无穷大，在 0 < x < 2 π 0<x<2π 0<x<2π 内所有的点，这个级数在某种平均值意义下的和为零。 δ ( x ) \delta(x) δ(x) 的积分为 1 1 1，但是 ∫ 0 2 π δ 2 ( x ) d x = + ∞ \int_0^{2π}\delta^2(x)\,\textrm dx=+\infty ∫02πδ2(x)dx=+∞，所以 δ ( x ) \delta(x) δ(x) 不在希尔伯特空间中。
使用傅里叶级数计算函数 f ( x ) f(x) f(x) 的长度： ( f , f ) = ∫ 0 2 π ( a 0 + a 1 cos x + b 1 sin x + a 2 cos 2 x + b 2 sin 2 x + ⋯ ) 2 d x = ∫ 0 2 π ( a 0 2 + a 1 2 cos 2 x + b 1 2 sin 2 x + a 2 2 cos 2 2 x + b 2 2 sin 2 2 x + ⋯ ) d x ∣ ∣ f ∣ ∣ 2 = 2 π a 0 2 + π ( a 1 2 + b 1 2 + a 2 2 + b 2 2 + ⋯ ) ( 10.5.6 ) \begin{array}{l}(f,f)=\int_0^{2π}(a_0+a_1\cos x+b_1\sin x+a_2\cos 2x+b_2\sin2x+\cdots)^2\,\textrm dx\\[1.5ex]\kern 27pt=\int_0^{2π}(a_0^2+a_1^2\cos^2x+b_1^2\sin^2x+a_2^2\cos^22x+b_2^2\sin^22x+\cdots)\,\textrm dx\\[1.5ex]\pmb{||f||^2\kern 3pt=2πa_0^2+π(a_1^2+b_1^2+a_2^2+b_2^2+\cdots)}\kern 90pt(10.5.6)\end{array} (f,f)=∫02π(a0+a1cosx+b1sinx+a2cos2x+b2sin2x+⋯)2dx=∫02π(a02+a12cos2x+b12sin2x+a22cos22x+b22sin22x+⋯)dx∣∣f∣∣2=2πa02+π(a12+b12+a22+b22+⋯)(10.5.6)上面从第一行到第二行利用了正交性，所有的如 cos x cos 2 x \cos x\cos2x cosxcos2x 这样的乘积的积分都为零，剩下的就是每个正弦和余弦平方的积分。第三行求出这些积分值，其中 1 2 1^2 12 的积分是 2 π 2π 2π，其它的函数的积分是 π π π，如果我们让它们分别除以它们自身的长度，这些函数就变为了标准正交基： 1 2 π , cos x π , sin x π , cos 2 x π , sin 2 x π , ⋯ 是函数空间中的一组标准正交基 \dfrac{1}{\sqrt{2π}},\dfrac{\cos x}{\sqrtπ},\dfrac{\sin x}{\sqrtπ},\dfrac{\cos2x}{\sqrtπ},\dfrac{\sin2x}{\sqrtπ},\cdots\kern 10pt\pmb{是函数空间中的一组标准正交基} 2π 1,π cosx,π sinx,π cos2x,π sin2x,⋯是函数空间中的一组标准正交基这些都是单位向量，我们可以将它们分别和系数 A 0 , A 1 , B 1 , A 2 , B 2 , ⋯ A_0,A_1,B_1,A_2,B_2,\cdots A0,A1,B1,A2,B2,⋯ 组合起来，得到一个函数 F ( x ) F(x) F(x)，那么就可以去掉长度公式中的 2 π 2π 2π 和 π π π： 函数长度 = 向量长度 ∣ ∣ F ∣ ∣ 2 = ( F , F ) = A 0 2 + A 1 2 + B 1 2 + A 2 2 + B 2 2 + ⋯ ( 10.5.7 ) \pmb{函数长度=向量长度}\kern 15pt||F||^2=(F,F)=A_0^2+A_1^2+B_1^2+A_2^2+B_2^2+\cdots\kern 15pt(10.5.7) 函数长度=向量长度∣∣F∣∣2=(F,F)=A02+A12+B12+A22+B22+⋯(10.5.7)对于函数 f ( x ) f(x) f(x) 和 F ( x ) F(x) F(x) 有一个关键点：当组合系数向量恰好为有限长度时，函数长度有限。傅里叶级数给出了函数希尔伯特空间和向量希尔伯特空间的完美对应：函数在 L 2 L^2 L2 中，傅里叶系数在 ℓ 2 \ell^2 ℓ2 中。
当希尔伯特空间包含 f ( x ) f(x) f(x) 的傅里叶系数向量 v = ( a 0 , a 1 , b 1 , a 2 , b 2 , ⋯ ) \boldsymbol v=(a_0,a_1,b_1,a_2,b_2,\cdots) v=(a0,a1,b1,a2,b2,⋯) 时，函数空间恰好包含 f ( x ) f(x) f(x). 它们都是有限长度。
【例3 】假设 f ( x ) f(x) f(x) 是一个 "方波函数（square wave）"，在区间 x ∈ [ 0 , π ) x\in[0,π) x∈[0,π) 之间等于 1 1 1，在区间 x ∈ [ π , 2 π ) x\in[π,2π) x∈[π,2π) 之间等于 − 1 -1 −1，永远重复 + 1 +1 +1 和 − 1 -1 −1 两个值。函数 f ( x ) f(x) f(x) 是一个和正弦函数一样的奇函数，它所有的余弦系数都为零。它的傅里叶级数只包含正弦项： 方波 Square wave f ( x ) = 4 π [ sin x 1 + sin 3 x 3 + sin 5 x 5 + ⋯ ] . ( 10.5.8 ) {\color{blue}\pmb{方波\,\textrm{Square wave}}\kern 15ptf(x)=\dfrac{4}{π}\Big[\dfrac{\sin x}{1}+\dfrac{\sin 3x}{3}+\dfrac{\sin 5x}{5}+\cdots\Big].}\kern 20pt(10.5.8) 方波Square wavef(x)=π4[1sinx+3sin3x+5sin5x+⋯].(10.5.8)这个函数的长度是 2 π \sqrt{2π} 2π ，因为在每一点 ( f ( x ) ) 2 (f(x))^2 (f(x))2 值等于 ( − 1 ) 2 (-1)^2 (−1)2 或 ( + 1 ) 2 (+1)^2 (+1)2 均为 1 1 1： ∣ ∣ f ∣ ∣ 2 = ∫ 0 2 π ( f ( x ) ) 2 d x = ∫ 0 2 π 1 d x = 2 π ||f||^2=\int_0^{2π}(f(x))^2\,\textrm dx=\int_0^{2π}1\,\textrm dx=2π ∣∣f∣∣2=∫02π(f(x))2dx=∫02π1dx=2π当 x = 0 x=0 x=0 时，正弦函数的值为零，则这个傅里叶级数也为零，这是 − 1 -1 −1 和 + 1 +1 +1 的平均数。当 x = π 2 x=\dfrac{π}{2} x=2π 时的傅里叶级数也很有趣，这一点方波等于 1 1 1，式（10.5.8）中的正弦函数是在 + 1 +1 +1 和 − 1 -1 −1 之间交替取值： π 的公式 1 = 4 π ( 1 − 1 3 + 1 5 − 1 7 + ⋯ ) ( 10.5.9 ) {\color{blue}\pmb{π\,的公式}\kern 15pt1=\dfrac{4}{π}\Big(1-\dfrac{1}{3}+\dfrac{1}{5}-\dfrac{1}{7}+\cdots\Big)}\kern 25pt(10.5.9) π的公式1=π4(1−31+51−71+⋯)(10.5.9)两边同时乘以 π π π 就可以得到这个著名数值 π π π 的神奇公式 π = 4 ( 1 − 1 3 + 1 5 − 1 7 + ⋯ ) π=4(1-\dfrac{1}{3}+\dfrac{1}{5}-\dfrac{1}{7}+\cdots) π=4(1−31+51−71+⋯).
三、傅里叶系数
我们要如何求得傅里叶级数中与余弦函数和正弦函数相乘的系数 a k a_k ak 和 b k b_k bk 呢？对于一个给定的函数 f ( x ) f(x) f(x)，我们要求得它的傅里叶系数（Fourier coefficients） a k a_k ak 和 b k b_k bk： 傅里叶级数 Fourier series f ( x ) = a 0 + a 1 cos x + b 1 sin x + a 2 cos 2 x + b 2 sin 2 x + ⋯ \pmb{傅里叶级数\,\textrm{Fourier series}}\kern 15ptf(x)=a_0+a_1\cos x+b_1\sin x+a_2\cos2x+b_2\sin2x+\cdots 傅里叶级数Fourier seriesf(x)=a0+a1cosx+b1sinx+a2cos2x+b2sin2x+⋯求 a 1 \pmb{a_1} a1 的方法是：两边同时乘以 cos x \pmb{\cos x} cosx，然后从 0 \pmb0 0 到 2 π \pmb{2π} 2π 积分。 关键是利用了正交性！右侧除了 cos 2 x \cos^2x cos2x 项，其余项的积分都为零： 对于系数 a 1 ∫ 0 2 π f ( x ) cos x d x = ∫ 0 2 π a 1 cos 2 x d x = π a 1 ( 10.5.10 ) \pmb{对于系数\,a_1}\kern 20pt\int_0^{2π}f(x)\cos x\,\textrm dx=\int_0^{2π}a_1\cos^2x\,\textrm dx=πa_1\kern 20pt(10.5.10) 对于系数a1∫02πf(x)cosxdx=∫02πa1cos2xdx=πa1(10.5.10)两边同时除以 π π π，即可以求得 a 1 a_1 a1. 要求其余的系数 a k a_k ak，就在傅里叶级数两边同时乘以 cos k x \cos kx coskx，然后从 0 0 0 到 2 π 2π 2π 积分，使用正交性，最终就只剩下 a k cos 2 k x a_k\cos^2kx akcos2kx 的积分了，这个积分是 π a k πa_k πak，两边再同时除以 π π π：
a k = 1 π ∫ 0 2 π f ( x ) cos k x d x 类似地 b k = 1 π ∫ 0 2 π f ( x ) sin k x d x ( 10.5.11 ) {\color{blue}\pmb{a_k}=\dfrac{1}{π}\int_0^{2π}f(x)\cos kx\,\textrm dx}\kern 15pt类似地\kern 15pt{\color{blue}\pmb{b_k}=\dfrac{1}{π}\int_0^{2π}f(x)\sin kx\,\textrm dx}\kern 15pt(10.5.11) ak=π1∫02πf(x)coskxdx类似地bk=π1∫02πf(x)sinkxdx(10.5.11)
例外的只有 a 0 a_0 a0，要求的这个系数，我们两边同时乘以 cos 0 x = 1 \cos 0x=1 cos0x=1，它的积分是 2 π 2π 2π： 常数项 Constant term a 0 = 1 2 π ∫ 0 2 π f ( x ) ⋅ 1 d x = f ( x ) 的平均值 ( 10.5.12 ) \pmb{常数项\,\textrm{Constant term}\kern 15pta_0}=\dfrac{1}{2π}\int_0^{2π}f(x)\cdot1\,\textrm dx=\pmb{f(x)\,的平均值}\kern 15pt(10.5.12) 常数项Constant terma0=2π1∫02πf(x)⋅1dx=f(x)的平均值(10.5.12)式（10.5.8）中方波函数的傅里叶系数就是用这些公式求出来的。在区间 [ 0 , 2 π ] [0,2π] [0,2π] 内， f ( x ) cos k x f(x)\cos kx f(x)coskx 的积分为零，当 k k k 为奇数时， f ( x ) sin k x f(x)\sin kx f(x)sinkx 的积分是 4 k \dfrac{4}{k} k4.
四、与 R n \textrm R^n Rn 中线性代数的比较
无限维的希尔伯特空间非常像 n n n 维空间 R n \pmb{\textrm R}^n Rn. 假设非零向量 v 1 , v 2 , ⋯ , v n \boldsymbol v_1,\boldsymbol v_2,\cdots,\boldsymbol v_n v1,v2,⋯,vn 在 R n \textrm {\pmb R}^n Rn 中是正交的，我们可以将向量 b \boldsymbol b b（代替函数 f ( x ) f(x) f(x)）写成这些 v i \boldsymbol v_i vi 的线性组合： 有限正交级数 Finite orthogonal series b = c 1 v 1 + c 2 v 2 + ⋯ + c n v n ( 10.5.13 ) \pmb{有限正交级数 \,\textrm{Finite\,orthogonal series}}\kern 15pt\boldsymbol b=c_1\boldsymbol v_1+c_2\boldsymbol v_2+\cdots+c_n\boldsymbol v_n\kern 15pt(10.5.13) 有限正交级数Finiteorthogonal seriesb=c1v1+c2v2+⋯+cnvn(10.5.13)两边同时左乘 v 1 T \boldsymbol v_1^T v1T，使用正交性，则有 v 1 T v 2 = 0 \boldsymbol v_1^T\boldsymbol v_2=0 v1Tv2=0，则只有 c 1 c_1 c1 项剩下： 系数 Coefficient v 1 T b = c 1 v 1 T v 1 + 0 + ⋯ + 0 因此 c 1 = v 1 T b v 1 T v 1 ( 10.5.14 ) \pmb{系数\,\textrm{Coefficient}}\kern 15pt\boldsymbol v_1^T\boldsymbol b=c_1\boldsymbol v_1^T\boldsymbol v_1+0+\cdots+0\kern 15pt因此\kern 10ptc_1=\dfrac{\boldsymbol v_1^T\boldsymbol b}{\boldsymbol v_1^T\boldsymbol v_1}\kern 15pt(10.5.14) 系数Coefficientv1Tb=c1v1Tv1+0+⋯+0因此c1=v1Tv1v1Tb(10.5.14)分母 v 1 T v 1 \boldsymbol v_1^T\boldsymbol v_1 v1Tv1 是长度的平方，就如式（10.5.11）中的 π π π 一样；分子 v 1 T b \boldsymbol v_1^T\boldsymbol b v1Tb 是内积，与 ∫ f ( x ) cos k x d x \int f(x)\cos kx\,\textrm dx ∫f(x)coskxdx 一样。当基向量正交时，系数很容易求出。 我们在求每个系数时，就是求到基向量所在直线的一维投影。
如果基向量是标准正交的，会得到更好的公式。此时，我们会得到一个正交矩阵 Q Q Q，分母 v k T v k \boldsymbol v_k^T\boldsymbol v_k vkTvk 都为 1 1 1，可以得到另一种形式的 c k = v k T b c_k = \boldsymbol v_k^T\boldsymbol b ck=vkTb： 关于 c i 的方程 c 1 v 1 + c 2 v 2 + ⋯ + c n v n = b 或 [ v 1 v 2 ⋯ v n ] [ c 1 c 2 ⋯ c n ] = b Q c = b 得 c = Q T b 具体到每行就是 c k = q k T b \pmb{关于\,c_i\,的方程}\kern 15ptc_1\boldsymbol v_1+c_2\boldsymbol v_2+\cdots+c_n\boldsymbol v_n=\boldsymbol b\kern 10pt或\kern 10pt\begin{bmatrix}\\\boldsymbol v_1&\boldsymbol v_2&\cdots&\boldsymbol v_n\\\,\end{bmatrix}\begin{bmatrix}c_1\\c_2\\\cdots\\c_n\end{bmatrix}=\boldsymbol b\\[1.5ex]Q\boldsymbol c=\boldsymbol b\,\kern 10pt得\kern 10pt\boldsymbol c=Q^T\boldsymbol b\kern 10pt具体到每行就是\kern 10ptc_k=\boldsymbol q_k^T\boldsymbol b 关于ci的方程c1v1+c2v2+⋯+cnvn=b或 v1v2⋯vn c1c2⋯cn =bQc=b得c=QTb具体到每行就是ck=qkTb傅里叶级数就像一个有无穷多个标准正交列的矩阵 Q Q Q，这些列是基函数 1 , cos x , sin x , cos 2 x , sin 2 x , ⋯ 1,\cos x,\sin x,\cos2x,\sin2x,\cdots 1,cosx,sinx,cos2x,sin2x,⋯ 除以它们的长度，此时 Q Q Q 是个 "无限正交矩阵"。它的逆矩阵就是它的转置 Q T Q^T QT. 当我们做积分时，正交性会将级数的无穷多项简化为单独的一项。