线性代数之超定方程使用最小二乘求解

在超定方程中, 线性方程组一般不能被完全精确满足,因此需要使用最小二乘法求解参数 XXX。

假设线性方程组可以写成:

AX≈B AX \approx B AX≈B

其中,AAA 为系数矩阵,XXX 为待求参数向量,BBB 为观测值向量。

定义残差向量为:

r=AX−B r = AX - B r=AX−B

最小二乘法的目标是使残差平方和最小,即:

X=arg⁡min⁡X∥AX−B∥2 X = \arg\min_X \|AX - B\|^2 X=argXmin∥AX−B∥2

为了便于推导,定义目标函数:

J(X)=∥AX−B∥2 J(X) = \|AX - B\|^2 J(X)=∥AX−B∥2

向量二范数的平方可以写成内积形式:

J(X)=(AX−B)T(AX−B) J(X) = (AX - B)^T(AX - B) J(X)=(AX−B)T(AX−B)

展开可得:

J(X)=XTATAX−XTATB−BTAX+BTB J(X) = X^T A^T A X - X^T A^T B - B^T A X + B^T B J(X)=XTATAX−XTATB−BTAX+BTB

由于 XTATBX^T A^T BXTATB 和 BTAXB^T A XBTAX 都是标量,并且二者相等: (计算两者矩阵维度)

XTATB=BTAX X^T A^T B = B^T A X XTATB=BTAX

所以目标函数可以化简为:

J(X)=XTATAX−2XTATB+BTB J(X) = X^T A^T A X - 2X^T A^T B + B^T B J(X)=XTATAX−2XTATB+BTB

下面对 J(X)J(X)J(X) 关于 XXX 求导。

首先有:

∂∂X(XTATAX)=2ATAX \frac{\partial}{\partial X} (X^T A^T A X) = 2A^TAX ∂X∂(XTATAX)=2ATAX

这是因为 ATAA^TAATA 是对称矩阵,即:

(ATA)T=ATA (A^TA)^T = A^TA (ATA)T=ATA

其次有:

∂∂X(−2XTATB)=−2ATB \frac{\partial}{\partial X} (-2X^TA^TB) = -2A^TB ∂X∂(−2XTATB)=−2ATB

最后,BTBB^TBBTB 中不含有待求参数 XXX,因此:

∂∂X(BTB)=0 \frac{\partial}{\partial X} (B^TB) = 0 ∂X∂(BTB)=0

所以目标函数的导数为:

∂J(X)∂X=2ATAX−2ATB \frac{\partial J(X)}{\partial X} = 2A^TAX - 2A^TB ∂X∂J(X)=2ATAX−2ATB

最小二乘问题要求目标函数取得最小值,因此令导数为零:

2ATAX−2ATB=0 2A^TAX - 2A^TB = 0 2ATAX−2ATB=0

化简可得:

ATAX=ATB A^TAX = A^TB ATAX=ATB

这就是最小二乘法对应的正规方程。

当 ATAA^TAATA 可逆时,可以在等式两边左乘 (ATA)−1(A^TA)^{-1}(ATA)−1,得到:

X=(ATA)−1ATB X = (A^TA)^{-1}A^TB X=(ATA)−1ATB

因此,正规方程的本质就是:对最小二乘目标函数 J(X)=∥AX−B∥2J(X)=\|AX-B\|^2J(X)=∥AX−B∥2 关于待求参数 XXX 求导,并令导数为零后得到的方程。

相关推荐
阿里云大数据AI技术5 分钟前
Hologres jev 能帮业务做什么?7 个场景,一句提问
人工智能
武子康10 分钟前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
网易云信18 分钟前
网易智企 × 利尔达智能工牌:如何把一线对话变成可复用的企业资产
人工智能
前进的李工36 分钟前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
天树星智源1 小时前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
京东云开发者1 小时前
京东云推出全新JoyCode智能编码工具,让AI Coding从代码生成走向成果交付
人工智能
泓博1 小时前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
软件技术NINI1 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
大模型真好玩2 小时前
大模型训练全流程实战指南实战篇(十八)——微调问答对数据构建技术
人工智能·agent·deepseek
甲维斯2 小时前
谷歌太抽象了,快速测一下Hydrogen!
人工智能