这是一个非常实用的 岭回归（Ridge Regression）和线性回归（Linear Regression）对比实验 ，使用了 scikit-learn 中的 California Housing 数据集 来预测房价。
📦 第一步：导入必要的库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import Ridge, Lasso, LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.datasets import fetch_california_housing as fch🔹 Ridge, Lasso, LinearRegression：三种回归模型
🔹 fetch_california_housing：加载加州房价数据集
🔹 train_test_split：划分训练集和测试集
🔹 matplotlib.pyplot：画图
🏠 第二步：加载数据并观察
house_value = fch()
X = pd.DataFrame(house_value.data)
y = house_value.target
X.columns = ["住户收入中位数", "房屋使用年代中位数", "平均房间数目", "平均卧室数目", "街区人口", "平均入住率", "街区垢纬度", "街区的经度"]
Xtmp = X.copy()
Xtmp['价格'] = y
display(Xtmp)✅ 将数据转换为 DataFrame 并设置列名，更方便分析。
✅ display(Xtmp) 会在 Jupyter Notebook 中以表格形式展示数据。
✂️ 第三步：划分训练集和测试集
xtrain, xtest, ytrain, ytest = train_test_split(X, y, test_size=0.3, random_state=420)
for i in [xtrain, xtest]:
i.index = range(i.shape[0]) # 重置索引，避免索引错乱✅ 划分比例为 70% 训练 + 30% 测试
✅ 重置索引是个好习惯，有利于数据对齐
🧮 第四步：使用 Ridge 回归 进行建模和评估
reg = Ridge(alpha=5).fit(xtrain, ytrain)
r2_score = reg.score(xtest, ytest)
print("r2:%.8f" % r2_score)🔹 这里用岭回归拟合训练集，使用 alpha=5 作为正则化系数。
🔹 reg.score() 返回的是 R²（决定系数），衡量模型拟合效果，越接近 1 越好。
🔁 第五步：不同 alpha 下 Ridge 与普通线性回归对比
from sklearn.model_selection import cross_val_score
alpha_range = np.arange(1, 1001, 100)
ridge, lr = [], []
for alpha in alpha_range:
reg = Ridge(alpha=alpha)
linear = LinearRegression()
# 用交叉验证评估两种模型的平均 R²
regs = cross_val_score(reg, X, y, cv=5, scoring='r2').mean()
linears = cross_val_score(linear, X, y, cv=5, scoring='r2').mean()
ridge.append(regs)
lr.append(linears)🔍 cross_val_score：使用 5 折交叉验证，平均 R² 得分
-
ridge.append()：记录不同 alpha 下岭回归得分 -
lr.append()：记录普通线性回归得分（其实是一个水平线）
📈 第六步：可视化 Ridge 与 Linear 回归对比结果
plt.plot(alpha_range, ridge, c='red', label='Ridge')
plt.plot(alpha_range, lr, c='orange', label='LR')
plt.title('Mean')
plt.legend()
plt.ylabel('R2')
plt.show()✅ 横轴是 alpha，纵轴是交叉验证 R²
✅ 岭回归的性能随着 alpha 变化，线性回归是常数线
✅ 可以直观对比正则化对模型的影响
📌 总结这个实验做了什么？
| 步骤 | 作用 |
|---|---|
| 加载数据 | 得到特征和标签 |
| 建立模型 | 使用岭回归拟合预测房价 |
| 模型评估 | 输出 R² 指数 |
| 交叉验证 | 比较岭回归与线性回归的表现随 alpha 变化的趋势 |
| 可视化 | 看不同 alpha 对 Ridge 的影响，并与线性回归对比 |
✅ 建议拓展方向
可以继续做这些改进：
-
加入标准化（StandardScaler）：防止特征量纲影响回归权重；
-
尝试 Lasso 回归：看看稀疏化是否会带来更优的模型；
-
绘制训练误差与测试误差对比图：分析是否过拟合；
-
使用
GridSearchCV自动调参：找到最优 alpha。
以下是一个完整的房价预测回归分析代码，包含：
-
岭回归（Ridge）
-
Lasso 回归
-
普通线性回归
-
标准化处理（
StandardScaler） -
网格搜索调参（
GridSearchCV） -
模型评分比较
-
可视化对比
✅ 完整代码如下：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_california_housing
from sklearn.linear_model import Ridge, Lasso, LinearRegression
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split, GridSearchCV, cross_val_score
# 1. 加载数据
data = fetch_california_housing()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target
# 2. 数据划分
xtrain, xtest, ytrain, ytest = train_test_split(X, y, test_size=0.3, random_state=42)
# 3. 特征标准化
scaler = StandardScaler()
xtrain_scaled = scaler.fit_transform(xtrain)
xtest_scaled = scaler.transform(xtest)
# 4. 定义回归模型
models = {
"LinearRegression": LinearRegression(),
"Ridge": Ridge(),
"Lasso": Lasso()
}
# 5. 设置超参数搜索空间
param_grid = {
"Ridge": {"alpha": np.logspace(-3, 3, 20)},
"Lasso": {"alpha": np.logspace(-3, 3, 20)}
}
# 6. 模型训练与调参
best_models = {}
for name, model in models.items():
if name in param_grid:
print(f"正在搜索最优参数：{name}")
grid = GridSearchCV(model, param_grid[name], cv=5, scoring="r2")
grid.fit(xtrain_scaled, ytrain)
best_models[name] = grid.best_estimator_
print(f"{name} 最佳 alpha: {grid.best_params_['alpha']:.4f}")
else:
model.fit(xtrain_scaled, ytrain)
best_models[name] = model
# 7. 模型评估
print("\n模型性能对比（R² 得分）：")
for name, model in best_models.items():
score = model.score(xtest_scaled, ytest)
print(f"{name}: R² = {score:.4f}")
# 8. 可视化对比
r2_scores = [model.score(xtest_scaled, ytest) for model in best_models.values()]
model_names = list(best_models.keys())
plt.figure(figsize=(8, 5))
plt.bar(model_names, r2_scores, color=["orange", "red", "green"])
plt.ylabel("R²")
plt.title("不同回归模型性能对比")
for i, score in enumerate(r2_scores):
plt.text(i, score + 0.01, f"{score:.4f}", ha='center')
plt.ylim(0, max(r2_scores) + 0.1)
plt.grid(True, linestyle='--', alpha=0.5)
plt.show()📊 输出内容包括：
-
每种模型的 R² 得分
-
Ridge 和 Lasso 的最佳 alpha（正则项系数）
-
一张柱状图对比三种模型在测试集上的表现
