正交性
a）大地图
1）全章主线：以正交性为核心线索，从向量正交升级到子空间正交，赋予上章抽象的向量空间可计算的几何结构。以此为基础推导正交投影、最小二乘法，解决无解超定方程组的最优近似问题。再通过标准正交基、正交矩阵大幅简化计算、提升数值稳定性。最后给出正交化构造方法（格拉姆-施密特）与矩阵分解（QR分解），实现理论工具闭环，衔接后续的特征值、SVD等核心内容。
2）节链思路
3）本章重点
正交空间与子空间
a）本节背景：前两章解决了线性结构问题（向量空间、基、四个基本子空间、逆矩阵）。但存在三个核心问题：
1）普通线性无关基对应斜坐标系，坐标求解、矩阵运算复杂度高；
2）无法处理工程中普遍存在的超定无解方程组；
3）未知四个基本子空间的几何位置关系。
b）正交基
1）正交基定义：若一组基中任意两个向量都相互垂直，则称这组基为正交基。
2）标准正交基（最优基）定义：正交+单位长度。
3）n维向量长度与矩阵表示
c）正交向量
1）勾股定理向向量模长推广
2）内积（点积）定义
3）内积符号与向量夹角的关系
4）向量长度与零向量特性
5）正交非零向量组的线性无关性
6）标准正交积
d）正交子空间
1）本小节背景：本节是正交向量向子空间的推广，解决两个子空间整体垂直的判定与性质问题。通过引入R3中直线、平面的直观几何，纠正了垂直平面即正交子空间的直觉错误，最终建立正交性的基本定理。
2）正交子空间的定义
3）正交性基本定理
4）正交补的定义和性质
5）维数互补公式
6）线性方程组可解性的正交条件
7）总结
e）矩阵和子空间
1）本小节背景：本节是正交子空间与线性代数基本定理的深化，理清了正交子空间与正交补的本质区别，揭示了矩阵乘法的真正数学作用，并引出不可逆矩阵的替代-伪逆矩阵。本内容是投影理论、最小二乘、寄异值分解的前置知识，同时也是FPGA设计网络中权重稀疏化、前向传播加速、反向传播伪逆计算的核心数学依据。
2）正交子空间和正交补的本质区别
3）空间的正交分解定理
4）矩阵乘法的本质
5）行空间到列空间的可逆性
6）转置与伪逆矩阵
7）总结
f）习题补充
1）
2）
3）
4）
5）
6）
7）
8）
9）
10）
夹角余弦和直线上的投影
a）本节背景：本节是欧式内积空间从正交性判定到正交投影应用的关键节点。之前我们讨论了用内积刻画向量夹角、判定正交性，也讨论了正交矩阵的旋转变换性质。本节是利用正交约束解决欧式空间最优逼近问题，即给定向量b与子空间S，求解S中离b距离最近的点（正交投影点）。这直接推导出最小二乘法，是测绘数据拟合、神经网络特征处理的底层数学基础。
b）内积与夹角余弦
1）本小节背景：内积是线性代数中连接代数运算与几何直观的核心桥梁。在低维空间中，我们可以通过几何观察直接得到向量的夹角，但在高维空间中，不存在直观的几何夹角，必须通过代数定义的内积来量化两个向量的方向相似性。本节从二维的几何直观出发，推导出n维空间通用的夹角余弦公式，为后续正交投影、最小二乘、特征分解等核心内容打基础。
2）二维情形的三角函数推导
3）余弦定理代数推导
c）直线上的投影
1）本小节背景：本节是内积的第一个核心应用，解决线性代数中最基础的最优近似问题。用给定直线上的向量p去逼近任意向量b，如何让误差最小？这个问题是最小二乘法、正交分解、降维算法的基础。在高维空间中，无法直观判断最近点，但正交投影给出了唯一且通用的代数解法。
2）投影的几何约束与公式推导
3）施瓦茨不等式本质证明
4）总结
d）秩为1的投影矩阵
1）本小节背景：上面我们得到了向量在直线上投影的向量表达式，但线性代数的核心是线性变换的矩阵表示。将投影到某条直线这个线性操作封装为一个矩阵P，使得对任意向量b的投影都能统一写成p=Pb。这是单个向量运算到批量线性变换的飞跃。将几何直观转换为代数运算，为后续子空间投影、最小二乘法、PCA降维提供了矩阵框架。
2）从向量投影到矩阵投影
3）投影矩阵的两个核心性质（充要条件）
4）投影矩阵的子空间结构
5）缩放不变性与单位向量简化
6）总结
e）内积的转置
1）本小节背景：之前我们对转置的理解停留在元素层面的操作定义，但这并没有揭示其本质。本小节通过内积给出转置的抽象代数定义，将转置与线性变换的伴随算子联系起来。这一定义是转置更本质的刻画。是后续正交矩阵、最小二乘法、神经网络反向传播等核心内容的数学基础。
2）转置的表层定义
3）转置的本质定义（内积伴随）
4）转置和逆
f）补充
1）
投影与最小二乘法
a）本节背景：传统高斯消元求解Ax=b的前提是b落在矩阵A的列空间C(A)内，仅当方程数量≤未知数、观测无噪声时大概率能满足该条件。但实际场景中存在大量超定方程组（观测方程数m远大于待求参数数n），测量噪声会让b偏离C(A)，系统不相容无精确解。最小二乘法跳出求精确解的框架，寻找使整体偏差最小的近似解，是数据拟合、机器学习参数求解的基础方法。
b）
c）多变量的最小二乘问题
1）本小节背景：单变量最小二乘是将向量投影到1维直线，而工程中绝大多数问题是多参数拟合。
2）核心本质：正交投影
3）正规方程组推导
4）
5）投影矩阵与投影运算
6）四个核心结论
d）向量积矩阵和投影矩阵
1）本小节背景
2）向量积矩阵
①
②
③
3）投影矩阵
①定义与几何意义
②两个基本性质（投影矩阵的身份证）
③可逆方阵投影
e）数据的最小二乘拟合
1）本小节背景：工业场景经常出现单自变量线性观测任务，自变量t可精准测量且无明显噪声，因变量b受测量干扰，会采集m组(ti,bi)数据，形成超定方程组，传统高斯消元无精确解。最小二乘直线拟合通过最小化因变量方向的残差平方和，得到最优直线b=C+Dt，是一元线性回归的基础形式，也可扩展适配可线性化的非线性模型。
2）线性建模与超定方程组构建
3）优化准则、矩阵求解、几何本质
4）通用正规方程与模型拓展
5）方法适用边界
6）总结
f）加权最小二乘法
1）本小节背景：普通最小二乘法默认所有观测测量精度一致，对残差赋予均等权重。实际工程中不同观测可信度存在差异，高精度传感器数据应该占有更高话语权、噪声波动大的观测需降低权重。观测还可能存在互相关性，此时普通最小二乘结果会出现偏差、方差偏大的问题。加权最小二乘通过权重矩阵量化观测可靠性，改造误差度量与投影规则，得到统计更优的拟合结果，是广义最小二乘的理论基础。
2）普通最小二乘基准
3）引入加权优化
3）推广到一般的超定系统
4）权重的统计学最优取值
5）方法边界
6）总结
g）补充
1）
2）
3）
4）
5）
6）
正交基与格拉姆-施密特正交化
a）本节背景
1）正交基和标准正交基的定义
2）标准正交基的例子与存在性
b）正交矩阵
1）本小节背景
2）标准正交列与正交矩阵定义
3）两类典型正交方阵
4）正交矩阵核心性质：正交变换保持向量长度不变
5）标准正交基下的向量分解公式
6）线性方程组Qx=b求解
7）正交投影的毕达哥拉斯公式
8）重要推论：方阵列正交等价于行标准正交
9）总结
c）具有标准正交列的矩形矩阵
1）本小节背景：上面讨论了正交方阵（m=n），但工程中超定线性方程组（m＞n）更普遍，如数据拟合、参数估计、信号重建等场景，Ax=b通常不存在精确解，只能寻求最小二乘意义下的最优近似解。
2）矩形标准正交矩阵的定义与左逆性质
3）标准正交列下的最小二乘简化
4）总结
d）格拉姆-施密特正交化过程
1）本小节背景
2）
3）经典GS递推
→示例
4）GS优化
5）总结
d）QR分解
1）本小节背景
2）QR分解构造逻辑与矩阵形式
→例子
3）LU分解和QR分解对比
4）核心定义与最小二乘简化推导
5）正交思想扩展到函数空间
6）总结
e）函数空间与傅里叶级数
1）本小节背景
2）概述
3）希尔伯特空间（无限维序列空间）
4）函数希尔伯特空间：积分替代求和
5）傅里叶级数（函数在正交三角函数基上的投影）
6）幂函数基的病态与格拉姆-施密特正交化（勒让德多项式）
7）连续域最小二乘拟合三种等价方法
f）补充
1）
2）
3）
4）
5）
6）
7）
快速傅里叶变换
a）小地图
b）概述
1）傅里叶级数→离散DFT
2）傅里叶矩阵F的正交共轭核心性质
3）FFT复杂度突破与循环矩阵对角化
4）总结
c）复数单位根
1）本小节背景
2）代数基本定理与低次单位根实例
3）棣莫弗公式与欧拉公式核心恒等式
4）单位根几何分布、核心求和性质
5）总结
d）傅里叶矩阵及其逆矩阵
1）本小节背景
2）离散DFT方程组建模
3）傅里叶矩阵标准形式与逆矩阵构造
4）总结
e）快速傅里叶变换概述
1）本小节背景
2）单位根层级关系与复杂度对比
3）基2FFT分治重构公式（库利 - 图基算法核心）
4）4阶实例与傅里叶矩阵完整分解
5）总结
e）
神经网络的最优化
神经网络的参数和变量
a）参数与变量的定义
b）标准符号规则
c）变量值的表示方法
1）
2）
神经网络的变量的关系式
a）小地图
b）输入层的关系式
c）隐藏层的关系式
d）输出层的关系式
e）矩阵形式表示
学习数据和正解
a）小地图
b）回归分析场景：学习数据与正解的基础范式
c）神经网络场景：多输出结构的正解编码方案
d）两类误差损失函数的数学逻辑
神经网络的代价函数
a）小地图
b）核心定义：学习 = 最优化，代价函数 = 优化目标函数
c）回归分析案例：线性模型代价函数（可解析求解）
d）范式统一：回归与神经网络优化逻辑完全等价
e）多层神经网络代价函数推导（手写 0/1 识别网络）
f）神经网络 vs 线性回归两大核心差异
g）补充
h）总结
