直线拟合方法全景解析:最小二乘、正交回归与 RANSAC

本文系统梳理了直线拟合的三种常见方法:常规最小二乘(OLS)、正交回归(Total Least Squares,TLS,又称最小化垂直距离)以及具备抗离群点能力的 RANSAC。我们从线性代数的投影原理出发,推导出闭式解,并给出工程实现建议及示例代码。希望通过本文,读者能全面理解直线拟合的数学本质与实际应用要点。

一 、常规最小二乘法 (OLS)拟合直线

1 分析方法

已知数据点为

,欲拟合直线

,则有最小化:

。

使用矩阵表示,令

,则有:

,

X, Y已知,要使E最小化,则向量B求导等于零:

,整理得:

。

2 线性代数方法

在分析方法中,使用最小误差法拟合直线。这里还可以使用线性代数中正交原理得到相同结果。

1)线到线上投影

如上图所示,b 到 a 的投影为 p = xa,由于 e 与 a 垂直,有 (b - xa)a = 0,未知数为 x。

求解方程得

,

。

带入 x 值,计算出 b 到 a 的投影为

,投影矩阵为

,

根据投影矩阵,b 到 a 的投影可重写为

。给定一个向量,可以求解出投影到该向量的投影矩阵,任意向量到给定向量的投影即为 Pb 。

2)线到面上投影

如上图所示,超平面为矩阵 A 的列空间构成(为了可视化,上图限制为二维平面,但结论对 N 维平面均适用),b 到平面 A 的投影为 p ,p 可表示为

。

类似线到线投影,e = b - p,e 垂直于平面 A,有:

,

,

。

带入 x 计算出 b 到平面 A 的投影为

,投影矩阵为

。

根据投影矩阵, b 到平面 A 的投影可重写为

。给定一个矩阵,可以求解出投影到该矩阵列空间构成的超平面上的投影矩阵,任意向量到给定矩阵列空间构成的超平面上的投影为 Pb。

3)直线拟合

设直线方程为 y = kx + b,对于任意点 (x,y),带入直线方程得:

,当向量

落在矩阵

列空间构成得超平面外时,方程组无解。这也正是最小二乘法需要解决得问题。

将向量

投影到矩阵

列空间构成的超平面,根据线到面上投影,可以寻找投影向量 p,改写方程为

,该方程组有解。

使用

作为原方程的最佳近似解,带入

,解得

。

对于方程组 Ax=b,当 b 不在矩阵 A 的列空间时,无法求得 x 精确解,但可以求得 x 的近似解,使得

。

实际运算中,并不需要特意求解 P,只需对方程组做如下变换即可:

。

二、最小化垂直距离(Total Least Squares / 正交回归)

常规最小二乘法有如下问题:

1)数据点旋转后,求解得直线是变化的;

2)垂直直线无法求解;

通过修改 E 表达式,可以克服以上问题,如下图:

假设

,图中直线方程

已经归一化,任意点

到直线的距离为

,则有最小化:

。

上式中,a,b,d 均为未知量,首先对求偏导,有:

,整理得:

,

将d代入E中得:

。

使用矩阵表示,令

,有:

,

对X求导,可得:

,求解二元一次方程组

可计算处拟合直线。

三 、RANSAC:抗离群点的鲁棒拟合

如上图所示,少数离群点可使拟合出现较大偏差。因此,应该使用一些逻辑来降低离群点干扰,具体措施如下:

1)随机选取一个子集,使用最小二乘法拟合直线;

2)在规定得误差范围内计算合群点;

3)多次选取不同的子集,继续1)2)操作;

4)选择合群点最多模型作为拟合初步结果,使用该模型下所有合群点重新拟合直线,得到最终结果。

四、方法比较

特性 OLS(纵向残差) TLS/正交回归(垂直残差) RANSAC
旋转不变性 否 是 是
垂直直线可处理性 差 好 好
抗离群能力 弱 弱 强
计算速度 快 快 较慢(取决于迭代次数)
闭式解 有 有 否(最终用 OLS/TLS)

五、实现示例

5.1 Python / NumPy

复制代码
import numpy as np

def fit_line_ols(x, y):
    X = np.column_stack([x, np.ones_like(x)])
    beta, *_ = np.linalg.lstsq(X, y, rcond=None)
    return beta[0], beta[1]

def fit_line_tls(x, y):
    x, y = np.asarray(x), np.asarray(y)
    xm, ym = x.mean(), y.mean()
    Xc = np.column_stack([x - xm, y - ym])
    S = Xc.T @ Xc
    w, v = np.linalg.eigh(S)
    a, b = v[:, 0]
    d = -a * xm - b * ym
    return a, b, d

5.2 C++ / Eigen

复制代码
#include <Eigen/Dense>
#include <vector>

// OLS: y = kx + b
std::pair<double,double> fitLineOLS(const std::vector<double>& x,
                                    const std::vector<double>& y){
    using namespace Eigen;
    int n = x.size();
    MatrixXd X(n,2);
    VectorXd Y(n);
    for(int i=0;i<n;++i){ X(i,0)=x[i]; X(i,1)=1.0; Y(i)=y[i]; }
    VectorXd beta = X.colPivHouseholderQr().solve(Y);
    return {beta(0), beta(1)};
}

// TLS: ax + by + d = 0, a^2 + b^2 = 1
struct LineTLS { double a,b,d; };

LineTLS fitLineTLS(const std::vector<double>& x,
                   const std::vector<double>& y){
    using namespace Eigen;
    int n = x.size();
    double xm=0, ym=0; for(int i=0;i<n;++i){ xm+=x[i]; ym+=y[i]; }
    xm/=n; ym/=n;
    Matrix2d S = Matrix2d::Zero();
    for(int i=0;i<n;++i){
        double dx=x[i]-xm, dy=y[i]-ym;
        S(0,0)+=dx*dx; S(0,1)+=dx*dy;
        S(1,0)+=dx*dy; S(1,1)+=dy*dy;
    }
    SelfAdjointEigenSolver<Matrix2d> es(S);
    Vector2d nvec = es.eigenvectors().col(0);
    double a=nvec(0), b=nvec(1);
    double d = -a*xm - b*ym;
    return {a,b,d};
}

六、总结

  • OLS:最小化纵向残差,本质是向量投影;

  • TLS:最小化垂直距离,可用 PCA 闭式解;

  • RANSAC:在存在离群点时,结合 OLS/TLS 做鲁棒拟合。

实际应用中,推荐 RANSAC + TLS 组合,以获得更稳健的直线拟合结果。

相关推荐
chh5634 分钟前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval22 分钟前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi1 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿1 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方2 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI2 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP3 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷3 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考3 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI3 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具