简单线性回归
线性回归用于预测一个连续的数值输出（因变量），其模型假设输入特征（自变量）和输出之间存在线性关系。基本的线性回归模型如下：
损失函数
线性回归通常通过最小二乘法来估计回归系数。最小二乘法的目标是最小化预测值和真实值之间的差异，即最小化损失函数。对于线性回归，损失函数通常是均方误差:
参数优化
通过梯度下降算法更新回归系数和偏置项，逐步减少损失函数的值。
优点：
-
简单易懂，计算效率高
-
可解释性强，系数的符号和大小能直接反映特征对输出的影响
缺点：
-
对异常值敏感，容易受到影响
-
无法处理数据的多重共线性问题
代码示例
python
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
# 示例数据
X = np.array([[650], [800], [1200], [1500], [1800], [2000], [2300], [2500]])
y = np.array([150, 180, 240, 290, 330, 350, 390, 410])
# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 模型并训练
model = LinearRegression()
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
# 输出模型的系数和截距
print("模型系数:", model.coef_)
print("截距:", model.intercept_)
# 预测结果
print("实际价格:", y_test)
print("预测价格:", y_pred)
# 可视化结果
plt.rcParams['font.sans-serif'] = ['SimHei'] # 使用黑体字体
plt.scatter(X, y, color="blue", label="实际数据")
plt.plot(X, model.predict(X), color="red", label="预测直线") # 预测直线
plt.legend()
plt.show()
逻辑回归
逻辑回归用于分类问题，尤其是二分类问题。尽管名字中有"回归"，它实际上是一个分类算法。逻辑回归通过对线性回归的输出进行sigmoid函数转换，将其映射到0到1之间，从而得到一个概率值，用于判断输入样本属于某个类别的概率。
线性模型
激活函数（sigmoid函数）
正类概率（类别1）
损失函数（对数似然函数）
逻辑回归的目标是找到最优的参数 www，使得模型对训练数据的预测概率最大。
参数优化
逻辑回归使用梯度下降或类似的方法（如随机梯度下降）来优化损失函数。通过计算损失函数相对于参数w的梯度并不断调整w的值，可以找到最优的参数。
分类决策
当 P(Y=1∣X)≥0.5时，预测为正类，否则预测为负类。
示例代码
python
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
# 示例数据
data = pd.DataFrame({
'年龄': [22, 25, 28, 32, 35, 40, 45, 50, 60],
'年收入': [2.5, 5.0, 6.5, 7.5, 8.5, 10.0, 12.5, 15.0, 20.0],
'购买': [0, 0, 0, 1, 1, 1, 1, 0, 1]
})
# 划分特征和标签
X = data[['年龄', '年收入']]
y = data['购买']
# 数据划分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 训练模型
model = LogisticRegression()
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("预测结果:", y_pred)
print("准确率:", accuracy)