机器学习(12):拉索回归Lasso

- 拉索回归可以将一些权重压缩到零,从而实现特征选择。这意味着模型最终可能只包含一部分特征。

  • 适用于特征数量远大于样本数量的情况,或者当特征间存在相关性时,可以从中选择最相关的特征。

  • 拉索回归产生的模型可能更简单,因为它会去除一些不重要的特征。

API

sklearn.linear_model.Lasso()

参数:

  1. alpha (float, default=1.0):

    • 控制正则化强度;必须是非负浮点数。较大的 alpha 增加了正则化强度。
  2. fit_intercept (bool, default=True):

    • 是否计算此模型的截距。如果设置为 False,则不会使用截距(即数据应该已经被居中)。
  3. precompute (bool or array-like, default=False):

    • 如果为 True,则使用预计算的 Gram 矩阵来加速计算。如果为数组,则使用提供的 Gram 矩阵。
  4. copy_X (bool, default=True):

    • 如果为 True,则复制数据 X,否则可能对其进行修改。
  5. max_iter (int, default=1000):

    • 最大迭代次数。
  6. tol (float, default=1e-4):

    • 精度阈值。如果更新后的系数向量减去之前的系数向量的无穷范数除以 1 加上更新后的系数向量的无穷范数小于 tol,则认为收敛。
  7. warm_start (bool, default=False):

    • 当设置为 True 时,再次调用 fit 方法会重新使用之前调用 fit 方法的结果作为初始估计值,而不是清零它们。
  8. positive (bool, default=False):

    • 当设置为 True 时,强制系数为非负。
  9. random_state (int, RandomState instance, default=None):

    • 随机数生成器的状态。用于随机初始化坐标下降算法中的随机选择。
  10. selection ({'cyclic', 'random'}, default='cyclic'):

    • 如果设置为 'random',则随机选择坐标进行更新。如果设置为 'cyclic',则按照循环顺序选择坐标。

属性:

  1. coef_

    • 系数向量或者矩阵,代表了每个特征的权重。
  2. intercept_

    • 截距项(如果 fit_intercept=True)。
  3. n_iter_

    • 实际使用的迭代次数。
  4. n_features_in_ (int):

    • 训练样本中特征的数量。
python 复制代码
from sklearn.linear_model import Lasso
from sklearn.model_selection import train_test_split
from sklearn.datasets import fetch_california_housing
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error

x,y = fetch_california_housing(return_X_y=True,data_home = "./src")

x_train,x_test,y_train,y_test = train_test_split(x,y,test_size = 0.2,random_state = 42)
scaler = StandardScaler()
x_train = scaler.fit_transform(x_train)
x_train = scaler.fit_transform(x_train)


model = Lasso(alpha =0.01,max_iter = 100,fit_intercept=True)
#调节alpha越大出现的零越多,因此拉索回归自带降维
model.fit(x_train,y_train)

y_hat = model.predict(x_test)
print("loss:",mean_squared_error(y_test,y_hat))
print("w:",model.coef_)
print("b:",model.intercept_)
相关推荐
档案宝档案管理几秒前
档案管理系统如何支持多级审批流?自定义节点与角色权限详解
大数据·人工智能·档案·档案管理
一招定胜负5 分钟前
OpenCV DNN 实战:快速实现实时性别年龄检测
人工智能·opencv·dnn
dyxal7 分钟前
算子(Operator):深度学习的乐高积木
人工智能·深度学习
老百姓懂点AI9 分钟前
[数据工程] 告别脏数据:智能体来了(西南总部)AI调度官的自动化ETL清洗与AI agent指挥官的数据合成管线
人工智能·自动化·etl
Dingdangcat869 分钟前
【技术解析】TOOD-R101-FPN-MS-2x-COCO导弹目标检测模型实现与优化
人工智能·目标检测·计算机视觉
我材不敲代码11 分钟前
机器学习入门02——新手学习的第一个回归算法:线性回归
学习·机器学习·回归
横木沉12 分钟前
Opencode启动时内置Bun段错误的解决笔记
人工智能·笔记·bun·vibecoding·opencode
码农三叔13 分钟前
(9-2-01)电源管理与能源系统:能耗分析与功率管理(1)步行能耗估计
人工智能·嵌入式硬件·机器人·人机交互·能源·人形机器人
SmartRadio17 分钟前
ESP32-S3对接豆包制作AI桌面数字收音机,桌面闹钟,桌面新闻播报器
人工智能·esp32·远程·虚拟键盘·虚拟鼠标
主机哥哥20 分钟前
阿里云OpenClaw极简部署教程,打造专属AI助手!
人工智能·阿里云·云计算