回归与聚类——性能评估(二)

1分析

回归当中的数据大小不一致,是否会导致结果影响较大。所以需要做标准化处理。

  • 数据分割与标准化处理
  • 回归预测
  • 线性回归的算法效果评估

2回归性能评估

均方误差(Mean Squared Error)MSE)评价机制:

注:y^i为预测值,y-为真实值

  • sklearn.metrics.mean_squared_error(y_true, y_pred)
    • 均方误差回归损失
    • y_true:真实值
    • y_pred:预测值
    • return:浮点数结果

3代码

我们也可以尝试去修改学习率

c 复制代码
estimator =SGDRegressor(learning_rate='constant',eta0=0.001)

此时我们可以通过调参数,找到学习率效果更好的值。

4正规方程和梯度下降对比

  • 文字对比
梯度下降 正规方程
需要选择学习率 不需要
需要迭代求解 一次运算得出
特征数量较大可以使用 需要计算方程,时间复杂度高O(n3)
  • 选择:
    • 小规模数据:
      • LinearRegression(不能解决拟合问题)
      • 岭回归
    • 大规模数据:SGDRegressor

拓展-关于优化方法GD、SGD、SAG

1、GD 梯度下降,原始的梯度下降法需要计算所有样本的值才能够得出梯度,计算量大,所以后面才有会一系列的改进。

2、SGD随机梯度下降。它在一次迭代时只考虑一个训练样本。

  • SGD的优点是:
    • 高效
    • 容易实现
  • SGD的缺点是:
    • SGD需要许多超参数:比如正则项参数、选代数
    • SGD对于特征标准化是敏感的。

3、SAG随机平均梯度法,由于收敛的速度太慢,有人提出SAG等基于梯度下降的算法。

Scikit-learn:岭回归、逻辑回归等当中都会有SAG优化

相关推荐
好开心啊没烦恼9 小时前
Python 数据分析:计算,分组统计1,df.groupby()。听故事学知识点怎么这么容易?
开发语言·python·数据挖掘·数据分析·pandas
IT古董13 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(4)模型评价与调整(Model Evaluation & Tuning)
神经网络·机器学习·回归
用户Taobaoapi20141 天前
母婴用品社媒种草效果量化:淘宝详情API+私域转化追踪案例
大数据·数据挖掘·数据分析
用户Taobaoapi20141 天前
Taobao agent USA丨美国淘宝代购1688代采集运系统搭建指南
数据挖掘·php
Brduino脑机接口技术答疑1 天前
脑机新手指南(二十一)基于 Brainstorm 的 MEG/EEG 数据分析(上篇)
数据挖掘·数据分析
羊小猪~~1 天前
【NLP入门系列五】中文文本分类案例
人工智能·深度学习·考研·机器学习·自然语言处理·分类·数据挖掘
好开心啊没烦恼1 天前
Python 数据分析:DataFrame,生成,用字典创建 DataFrame ,键值对数量不一样怎么办?
开发语言·python·数据挖掘·数据分析
麻雀无能为力2 天前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心2 天前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
胡耀超2 天前
标签体系设计与管理:从理论基础到智能化实践的综合指南
人工智能·python·深度学习·数据挖掘·大模型·用户画像·语义分析