从0开始学习R语言--Day55--弹性网络

通常来说,样本数据的数据个数会远大于特征数,但是当我们遇到特殊数据,比如基因数据,可能会有成百上千甚至上万地特征量,而样本个数只有几十个,此时如果直接做回归,由于特征数量很多,且有很多特征共线性较高,很容易过拟合,而能处理共线性的方法,又无法将特征的系数压缩为0,这样计算量会大大增加。

用弹性网络建模,其与其他不同的是,有两个惩罚项,L1负责控制特征系数(可以为0),做初步的筛选;L2负责剔除相关性高的特征,进一步减少计算量。

以下是一个例子:

复制代码
library(glmnet)

set.seed(123)
# 生成100个样本,20个特征(其中5个真实相关)
n <- 100
p <- 20
X <- matrix(rnorm(n * p), n, p)
# 真实系数:前5个非零,后15个为零
true_beta <- c(rep(2, 5), rep(0, p - 5))
# 生成响应变量(含噪声)
y <- X %*% true_beta + rnorm(n, sd = 0.5)



# 设置alpha:0.5表示L1和L2各占一半(可调整)
# lambda通过交叉验证选择
fit <- cv.glmnet(X, y, alpha = 0.5, nfolds = 10)

# 查看最优lambda
print(fit$lambda.min)

# 系数(非零的即被选中)
coef(fit, s = "lambda.min")

# 系数路径图
plot(fit$glmnet.fit, xvar = "lambda")
abline(v = log(fit$lambda.min), col = "red", lty = 2)

# 交叉验证误差
plot(fit)

# 生成新测试数据
X_new <- matrix(rnorm(10 * p), 10, p)
y_pred <- predict(fit, newx = X_new, s = "lambda.min")

输出:

复制代码
[1] 0.0307822
21 x 1 sparse Matrix of class "dgCMatrix"
                       s1
(Intercept) -0.0633934906
V1           1.9180107173
V2           1.9416672262
V3           2.0525999367
V4           1.9649569228
V5           1.9739324612
V6           .           
V7           .           
V8          -0.0422258534
V9          -0.0028998487
V10          0.0017927761
V11          0.0685678920
V12          .           
V13         -0.0422331782
V14          0.0111743085
V15          0.0163985377
V16          .           
V17         -0.0079250381
V18          .           
V19          0.0008252632
V20         -0.0450508462

输出中可以看到,V1到V5对模型的影响比较大被保留,同时弱相关的特征也被保留了下来;而lambda=0.037可以最大程度的保留特征数量的同时平衡拟合优度。

相关推荐
阿水实证通1 天前
当政策效应跨越行政边界:空间溢出下 DID 的识别与估计
r语言·因果推断·计量经济学·双重差分·空间溢出·政策评估
WiKiLeaks_successor6 天前
R_day3(DataType:matrix)
r语言
喵本喵叁肆8 天前
Rényi 差分隐私:把隐私损失看成一族矩(英文原题:Rényi Differential Privacy (CSF 2017))
开发语言·r语言
电科_银尘13 天前
【深度学习项目实战·17】行人目标检测:用Faster R-CNN找出图片中的行人
深度学习·目标检测·r语言
Biotree_202522 天前
实验谱库检索不再是唯一答案:AIMe依托预测质谱空间,实现小分子MS²全域注释检索
r语言
Canmag 兴隆磁性25 天前
回复磁导率 μ_R:永磁体在动态磁路中的关键参数
开发语言·学习·r语言·永磁材料·充磁·磁导率
临床数据科学和人工智能兴趣组1 个月前
提取匹配模式的第一个值
人工智能·r语言·1024程序员节·r语言-4.2.1·临床试验·临床科研·科学问题
临床数据科学和人工智能兴趣组1 个月前
在数据分析和处理过程中,字符串的操作常常扮演着极其重要的角色。R语言内置了多种功能强大的字符串处理函数,gsub() 就是其中之一
数据分析·r语言·r语言-4.2.1·临床研究·临床试验·临床科研
dfjdkfahkjd1 个月前
开源项目吐槽大会:技术文章大纲
r语言
爱读书的小胖1 个月前
Codewars:Last digit of a large number(C)解题分析
c语言·开发语言·r语言