使用R语言glmnet包进行正则化lasso回归

正则化的原理是尽可能多的将数据中的特征塞进最终模型,特征越多越可以更好地解释数据集的错综复杂。在应用正则化后,每个特征对模型部分的解释程度可能完全不同。通过使用正则化可以减少数据集的噪声,这些噪声可能来对最终模型几乎没有形象的特征。为了利用这种正则化技术,可以调用特定类型的回归模型,称为套索回归(lasso regression),此处使用的R语言自带的数据集mtcars数据集。

原书(Introduction to Machine Learning with R)使用的是lasso2包的l1ce()函数,此包已弃用,采用从历史文档手动安装的方式无法与现在的R版本匹配,故改用glmnet包的cv.glmnet函数。

R 复制代码
library(glmnet)  

# 选择特征和设置响应变量
#可改成(mpg ~ wy + cyl)
x <- model.matrix(mpg ~ ., data = mtcars)[, -1]
y <- mtcars$mpg

# 执行Lasso交叉验证
cv_fit <- cv.glmnet(x, y, alpha = 1)  
# 根据最小MSE选择lambda值
optimal_lambda <- cv_fit$lambda.min  
# 拟合最终Lasso模型  
lasso_model <- glmnet(x, y, alpha = 1, lambda = optimal_lambda)  

print(coef(lasso_model)) 
print(cv_fit)

输出:

R 复制代码
11 x 1 sparse Matrix of class "dgCMatrix"
                     s0
(Intercept) 36.44441107
cyl         -0.89269853
disp         .         
hp          -0.01282277
drat         .         
wt          -2.78337592
qsec         .         
vs           .         
am           0.01364372
gear         .         
carb         .         

Call:  cv.glmnet(x = x, y = y, alpha = 1) 

Measure: Mean-Squared Error 

    Lambda Index Measure    SE Nonzero
min 0.6648    23   9.718 3.588       4
1se 1.6854    13  13.302 6.501       3
相关推荐
侃侃_天下2 天前
最终的信号类
开发语言·c++·算法
echoarts2 天前
Rayon Rust中的数据并行库入门教程
开发语言·其他·算法·rust
Aomnitrix2 天前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
每天回答3个问题2 天前
UE5C++编译遇到MSB3073
开发语言·c++·ue5
伍哥的传说2 天前
Vite Plugin PWA – 零配置构建现代渐进式Web应用
开发语言·前端·javascript·web app·pwa·service worker·workbox
小莞尔2 天前
【51单片机】【protues仿真】 基于51单片机八路抢答器系统
c语言·开发语言·单片机·嵌入式硬件·51单片机
我是菜鸟0713号2 天前
Qt 中 OPC UA 通讯实战
开发语言·qt
JCBP_2 天前
QT(4)
开发语言·汇编·c++·qt·算法
Brookty2 天前
【JavaEE】线程安全-内存可见性、指令全排序
java·开发语言·后端·java-ee·线程安全·内存可见性·指令重排序
百锦再2 天前
[特殊字符] Python在CentOS系统执行深度指南
开发语言·python·plotly·django·centos·virtualenv·pygame