【机器学习】鲁棒(健壮)回归-Theil-Sen估计(Theil-Sen Estimator)

Theil-Sen估计

Theil-Sen估计是一种用于线性回归的非参数方法,其优点是对离群点具有鲁棒性。它通过计算数据点之间所有可能斜率的中位数来估计回归线的斜率,随后使用这些斜率估算截距。


核心思想

  1. 斜率估计 : 对于给定的一组数据点 ,Theil-Sen 方法计算每对数据点之间的斜率:

    斜率 m 的估计值为这些 的中位数:

  2. 截距估计: 截距 b 的估计值是使得中位残差最小的值。通常计算为:

  3. 回归方程: 最终的回归方程为:


优缺点

优点
  • 鲁棒性:对离群点不敏感,适用于数据中包含异常值的场景。
  • 非参数性:不需要对误差分布作假设。
缺点
  • 计算复杂度 :由于需要计算所有点对的斜率,其复杂度为 ,对于大数据集可能较慢。
  • 仅限一维:适用于单变量回归,不适合多元回归。

Theil-Sen估计的Python实现

以下是使用 scipy.stats 库实现 Theil-Sen 回归的代码示例:

python 复制代码
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import TheilSenRegressor

# 示例数据
np.random.seed(42)
X = np.random.rand(100) * 10  # 随机生成自变量
y = 2 * X + np.random.normal(0, 1, 100)  # 线性关系 + 噪声

# 添加一些离群点
X = np.append(X, [8, 9, 10])
y = np.append(y, [30, 35, 40])

plt.rcParams['font.sans-serif'] = ['SimHei']
# 解决负号'-'显示为方块的问题
plt.rcParams['axes.unicode_minus'] = False

# 可视化数据
plt.scatter(X, y, color="blue", label="数据点")
plt.xlabel("X")
plt.ylabel("y")
plt.title("带离群点的数据")
plt.show()

# 使用 Theil-Sen 方法进行回归
X = X.reshape(-1, 1)  # 调整为二维数组
model = TheilSenRegressor(random_state=42)
model.fit(X, y)

# 获取拟合结果
y_pred = model.predict(X)
print(f"斜率 (m): {model.coef_[0]:.2f}")
print(f"截距 (b): {model.intercept_:.2f}")

# 绘制结果
plt.scatter(X, y, color="blue", label="数据点")
plt.plot(X, y_pred, color="red", label="Theil-Sen回归线")
plt.xlabel("X")
plt.ylabel("y")
plt.legend()
plt.title("Theil-Sen 回归结果")
plt.show()

**输出示例

**

  1. 回归方程

    • 输出拟合直线的斜率和截距,例如:

      Matlab 复制代码
      斜率 (m): 1.95
      截距 (b): 0.25
  2. 图形结果

    • 数据点(含离群点)用蓝色散点表示。
    • Theil-Sen拟合的回归线用红色直线表示。

应用领域

  1. 经济学
    • 分析具有极值或异常值的时间序列数据。
  2. 环境科学
    • 估计气候趋势或环境变量的变化。
  3. 计算机视觉
    • 图像配准中的鲁棒线性模型拟合。

Theil-Sen 估计常用场景包括需要处理离群点或非正态分布误差的数据。

相关推荐
昨日之日20061 小时前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
SEO_juper4 小时前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号4 小时前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha5 小时前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能
算家云5 小时前
nano banana官方最强Prompt模板来了!六大场景模板详解
人工智能·谷歌·ai大模型·算家云·ai生图·租算力,到算家云·nano banana 提示词
暴躁的大熊5 小时前
AI助力决策:告别生活与工作中的纠结,明析抉择引领明智选择
人工智能
Gyoku Mint5 小时前
提示词工程(Prompt Engineering)的崛起——为什么“会写Prompt”成了新技能?
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·nlp
梁小憨憨5 小时前
zotero扩容
人工智能·笔记
民乐团扒谱机5 小时前
逻辑回归算法干货详解:从原理到 MATLAB 可视化实现
数学建模·matlab·分类·数据挖掘·回归·逻辑回归·代码分享
大数据张老师5 小时前
AI架构师的思维方式与架构设计原则
人工智能·架构师·ai架构·后端架构