机器学习——逻辑回归

一、逻辑回归的基本概念

1.什么是逻辑回归？

逻辑回归是一种分类算法，它通过一个数学模型估计输入特征与目标类别之间的关系，用于解决二分类问题（如判断某事件是否会发生）。虽然名字中有"回归"，但它是一个分类算法，因为它的输出是一个概率，用来预测样本属于某一类的可能性。

2.逻辑回归的目标

以肿瘤分类为例（肿瘤分恶性/良性），我们有关于肿瘤的一串数据特征（X）,每项数据都对应一个肿瘤检测结果（y），在这里肿瘤检测结果根据数据大小判别都只对应两种情况：恶性与良性，但恶性与良性间有个临界点只有当大于等于这个临界点才是恶性，小于则是良性，将数据特征与检测结果用函数表示则是：。

逻辑回归的目标就是学习一个函数，将输入特征x映射到概率值y∈【0,1】，表示事件y=1(恶性肿瘤）的概率。

3.模型假设

但这种函数一看就知道是一条斜线，难以达到我们想要进行二分类的效果0-1分类（分恶性与良性）取值，于是就有了采用Sigmoid函数（也称为逻辑函数）：

其中：σ（z）为Sigmoid函数将z映射到【0,1】，为线性模型表示特征的加权和。

Sigmoid的函数图：

4.决策规则

如果,则预测y=1;如果,则预测y=0。

二、逻辑回归的优化目标

逻辑回归通过 最大化似然函数 或 最小化损失函数 来优化模型参数 θ。

1.似然函数定义

对于给定的训练数据:

每个样本的条件概率为：

整个数据集的联合概率（似然函数）为：

2.最大化似然函数

逻辑回归希望通过调整参数 θ，使似然函数 L(θ)最大化，即：

3. 对数似然函数

为了便于优化，通常对似然函数取对数（对数函数是单调递增的，不改变极值点）：

这被称为对数似然函数。

4.转化为最小化问题：对数似然损失

机器学习中的优化通常以最小化损失函数的形式表述。因此，我们将对数似然函数取负，得到对数似然损失函数：

其中：是正类的损失（如果真实值是1，模型预测接近1，损失小）；是负类的损失（如果真实值是0，模型预测接近0，损失小）

逻辑回归的优化目标是最小化损失函数：

5.交叉熵损失函数

这时候我们引入一个损失函数------交叉熵损失函数

交叉熵损失函数定义：

对比两者定义，可以看得出来，逻辑回归的损失函数实际上等价于交叉熵损失函数。这是因为对数似然损失可以被视为衡量真实分布（标签）和预测分布（模型输出）之间的交叉熵。

两者的关系：

交叉熵损失的直观理解

当预测与真实标签匹配时：损失接近0。例如：

若真实标签 y=1，且 hθ(x)→1，则 −log⁡hθ(x)→0。

若真实标签 y=0，且 1−hθ(x)→1，则 −log⁡(1−hθ(x))→0-。

当预测与真实标签不匹配时：损失非常大。例如：

若 y=1 但 hθ(x)→0，则 −loghθ​(x)→∞。

若 y=0但 1−hθ(x)→0，则 −log⁡(1−hθ(x))→∞。

这体现了交叉熵的目标是最大限度地提高预测分布与真实分布的吻合度。

交叉熵的意义

交叉熵不仅能够衡量模型的预测能力，还能通过梯度下降等优化算法，帮助模型找到最优的参数 θ。

三、逻辑回归的训练

1.优化方法：梯度下降

由于交叉熵损失函数是一个凸函数，理论上可以通过 梯度下降 来找到损失函数的最小值，即得到最优的参数 θ。

梯度计算

损失函数的梯度表示损失函数关于参数 θ的偏导数。对于每个参数 θ​，梯度是：

梯度下降更新参数

通过梯度下降法更新参数 ：

迭代更新

重复进行参数更新，直到损失函数 J(θ)收敛，即梯度接近零或达到了设定的迭代次数。

2.完整训练过程

初始化参数：一般随机初始化参数 θ，或者初始化为零。

计算预测概率：使用当前参数 θ计算每个样本的预测概率 。

计算损失函数：使用交叉熵损失函数计算当前模型的损失。

计算梯度：对损失函数进行偏导数计算，得到每个参数的梯度。

更新参数：使用梯度下降法更新参数 θ，调整模型权重。

重复步骤：重复步骤 2 至 5，直到模型收敛，或者达到最大迭代次数。

模型训练完成：最终得到最优参数 ，用于对新样本进行预测。

3.实际训练中的注意事项

学习率选择：学习率 α 的大小直接影响训练过程的收敛速度和稳定性。如果学习率太大，可能导致震荡甚至发散；如果学习率太小，收敛速度会变慢。

特征标准化：对于特征的尺度差异较大的数据，建议进行标准化（如归一化或 z-score 标准化），以确保梯度下降的收敛速度较快。

梯度下降的不同方法：

批量梯度下降：每次使用整个数据集计算梯度，计算量大但稳定。

随机梯度下降：每次用一个样本来计算梯度，更新较快但可能会波动。

小批量梯度下降：结合了批量和随机梯度下降的优点，通常表现最好。

四、逻辑回归的正则化

在逻辑回归模型中，正则化 是一种常用的技术，用于避免模型过拟合，特别是在特征数量较多或数据噪声较大的情况下。正则化通过在损失函数中增加一个惩罚项（正则项），来限制模型的复杂度，从而提高模型的泛化能力。

1. 正则化的基本概念

正则化的核心思想是在损失函数中增加一个与模型参数的大小相关的惩罚项，使得模型的参数尽可能小。这样，模型的拟合能力会受限制，避免过度拟合训练数据。

正则化的类型

常见的正则化方法有两种：

L2 正则化（Ridge 正则化）：通常用于权重衰减，在逻辑回归中也是最常用的正则化方式。

L1 正则化（Lasso 正则化）：用于特征选择，可以将某些参数压缩为零，从而起到特征选择的作用。

2. L2 正则化：Ridge 正则化

L2 正则化的公式

L2 正则化通过在损失函数中添加一个与参数的平方和成正比的惩罚项，公式如下：

λ 是正则化参数（超参数），控制正则化的强度；是所有参数的平方和（不包括 ​），用于限制参数的大小。

L2 正则化的核心是惩罚大参数，鼓励模型选择较小的参数值，防止某些特征过于突出，从而降低过拟合的风险。

L2 正则化的梯度计算

对于 L2 正则化，损失函数的梯度会多一个额外的项。对于每个参数 θj，其梯度为：

是正则化项，鼓励θj的值较小。

L2 正则化的效果

防止过拟合：L2 正则化能防止模型参数过大，尤其是在特征较多的情况下，防止模型过于复杂。

提高模型的泛化能力：通过惩罚过大的参数值，L2 正则化能帮助模型在测试集上获得更好的表现。

3. L1 正则化：Lasso 正则化

L1 正则化在损失函数中添加的是参数绝对值的和，而不是平方和，公式为：

是正则化参数，控制惩罚项的强度。是所有参数的绝对值之和，用于限制参数的大小。

L1 正则化的关键特点是能够使某些参数变为零，从而起到特征选择的作用。

L1 正则化的梯度计算

对于 L1 正则化，梯度的计算与 L2 正则化有所不同，梯度对于每个参数 θj 为：

其中，表示参数的符号函数，即

L1 正则化的效果

特征选择：L1 正则化可以导致某些参数 θj变为零，实际上相当于从模型中删除对应的特征，从而实现特征选择。

稀疏解：L1 正则化生成的解通常是稀疏的，即包含许多零值的参数向量。

4. Elastic Net 正则化

Elastic Net 是结合了 L1 和 L2 正则化的优点，适用于同时进行特征选择和参数缩小。它的损失函数形式为：

其中：

λ1 控制 L1 正则化的强度（特征选择）。

λ2 控制 L2 正则化的强度（权重衰减）。

Elastic Net 正则化在特征选择和防止过拟合之间取得了平衡。

5. 正则化的选择

L2 正则化：适用于特征数量非常多的情况，可以有效避免过拟合，但不做特征选择。

L1 正则化：适用于需要特征选择的场景，因为它能将某些不重要的特征的系数压缩为零。

Elastic Net：适用于需要同时进行特征选择和控制参数规模的场景，尤其是在高度相关的特征存在时。

五、逻辑回归的扩展

1. 多项式逻辑回归

多项式逻辑回归 是对传统二分类逻辑回归的一种扩展，适用于多分类问题，即目标变量有三个或更多类别。在多项式逻辑回归中，我们使用 Softmax 函数 来计算每个类别的概率，而不是使用 Sigmoid 函数。

多项式逻辑回归模型

给定 K个类别，模型的目标是预测每个类别的概率 P(y=k∣x)，其中 k∈{1,2,...,K}。通过 Softmax 函数 来计算每个类别的概率：

在这里，是每个类别对应的权重参数，x是输入特征。

损失函数

对于多分类的逻辑回归，我们使用 交叉熵损失函数，该损失函数被用来衡量预测类别与真实类别之间的差异：

其中，是第 i个样本的真实标签，对于正确类别为 1，其他类别为 0。

梯度计算

为了优化模型参数，采用梯度下降法来最小化损失函数的梯度：

通过计算这个梯度来更新各个类别的参数。

2. 正则化多项式逻辑回归

对于多项式逻辑回归，正则化技术同样适用，可以在损失函数中加入 L1 或 L2 正则化项，防止过拟合，尤其是在特征数很多时。常见的做法是 L2 正则化，即：

λ是正则化参数，控制正则化的强度。

逻辑回归还有很多其他扩展，这里不详细讲述了。

六、用Python实现逻辑回归

使用逻辑回归进行 肿瘤分类 的例子是一个经典的二分类问题。在这个问题中，我们通常会用已知的肿瘤特征（如肿瘤大小、形状、边缘光滑度等）来预测肿瘤是否为恶性（即癌症）或良性。为了方便说明，常见的数据集是 乳腺癌数据集（Breast Cancer Dataset），它包含了乳腺肿瘤的多种特征。

代码：

import numpy as np

import pandas as pd

from sklearn.datasets import load_breast_cancer

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LogisticRegression

from sklearn.metrics import accuracy_score, confusion_matrix, classification_report

加载乳腺癌数据集

data = load_breast_cancer()

将数据集转换为DataFrame

df = pd.DataFrame(data=data.data, columns=data.feature_names)

df['target'] = data.target # 将目标变量添加到DataFrame

特征和目标

X = df[data.feature_names]

y = df['target']

划分训练集和测试集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

创建逻辑回归模型

model = LogisticRegression(max_iter=10000) # max_iter 设置较大的迭代次数以确保收敛

训练模型

model.fit(X_train, y_train)

用测试集进行预测

y_pred = model.predict(X_test)

评估模型性能

accuracy = accuracy_score(y_test, y_pred)

conf_matrix = confusion_matrix(y_test, y_pred)

class_report = classification_report(y_test, y_pred)

打印评估结果

print(f"准确率: {accuracy}")

print("混淆矩阵:\n", conf_matrix)

print("分类报告:\n", class_report)

AI写代码

运行结果:

结果解释：

准确率 (Accuracy)：模型在测试集上的准确率为 95.6%。这意味着在所有测试样本中，96% 的样本被正确分类。

混淆矩阵 (Confusion Matrix)：

True Positive (TP)：70 个恶性肿瘤被正确预测为恶性。

True Negative (TN)：39 个良性肿瘤被正确预测为良性。

False Positive (FP)：1 个良性肿瘤被错误地预测为恶性。

False Negative (FN)：2 个恶性肿瘤被错误地预测为良性。

分类报告 (Classification Report)：提供了每个类别的精确度（Precision）、召回率（Recall）和 F1 分数（F1-score）。

精确度 (Precision)：当模型预测为恶性时，它的准确率为 0.99。

召回率 (Recall)：模型能正确识别出 97% 的恶性肿瘤（Recall for Malignant = 0.97）。

F1 分数：F1 分数是精确度和召回率的调和平均值，表示模型在预测上的综合表现。

七、逻辑回归的优势和局限

逻辑回归的优势

简单易懂：逻辑回归是一个线性模型，数学原理简单，易于理解和实现。

计算效率高：逻辑回归训练速度较快，适用于大规模数据集。特别是在特征数目不非常庞大的情况下，它的计算效率非常高。

概率输出：与其他分类算法（如支持向量机）不同，逻辑回归能够输出每个类别的概率估计，这对于需要概率值的应用（如风险预测）非常有用。

线性决策边界：对于一些线性可分的分类问题，逻辑回归能够给出较好的分类效果，并且其线性决策边界通常能提供较好的可解释性。

容易解释和可解释性：由于逻辑回归是线性模型，其系数可以直观地解释为各个特征对分类结果的影响。例如，正系数意味着该特征对分类结果有正向影响，负系数意味着负向影响。

可以扩展：逻辑回归可以通过正则化、防止过拟合、处理多类别问题等方式进行扩展，适应不同类型的任务。

逻辑回归的局限

线性假设：逻辑回归假设数据是线性可分的，因此在特征与目标变量之间存在非线性关系时，模型表现可能较差。对于复杂的非线性分类问题，逻辑回归可能不适用。

对异常值敏感：逻辑回归对数据中的异常值比较敏感，异常值可能会极大地影响模型的性能。在这种情况下，通常需要进行数据预处理，去除异常值或对其进行处理。

特征选择要求高：逻辑回归模型依赖于选择合适的特征。过多无关特征会导致过拟合，因此特征选择和数据预处理在应用逻辑回归时非常重要。

类别不平衡问题：在类别分布严重不平衡的情况下（例如，一类远远大于另一类），逻辑回归可能表现不佳。尽管可以通过调整类别权重来缓解，但它的表现通常不如一些更复杂的模型（如随机森林、XGBoost等）。

难以捕捉复杂关系：对于特征之间存在复杂交互关系的任务，逻辑回归的线性模型无法有效地捕捉这些非线性关系。此时，可以考虑使用决策树、随机森林等非线性模型。

需要特征缩放：虽然逻辑回归不要求特征严格标准化，但在特征尺度差异较大的情况下，模型的表现可能会受到影响。特别是使用正则化时，特征缩放（如标准化或归一化）是必要的。

仅适用于分类任务：逻辑回归主要用于分类任务，不适用于回归任务（尽管有些变体，如岭回归、套索回归，可以用于回归问题）。

八、逻辑回归的应用

1.二分类问题

二分类问题是逻辑回归最典型的应用场景，它可以用来预测两个类别之间的分类问题。常见的应用包括：

信用评分：金融机构通过逻辑回归模型预测借款人是否会违约，依据的是借款人的历史信用记录、收入水平、负债情况等特征。目标变量是"违约"或"未违约"（0 或 1）。

垃圾邮件分类：根据邮件内容、发件人等特征，逻辑回归可以用来预测一封邮件是否为垃圾邮件。目标变量是"垃圾邮件"或"正常邮件"。

疾病预测：在医疗领域，逻辑回归可用于根据患者的临床数据预测某种疾病的发生风险。例如，预测一个人是否患有糖尿病、心脏病等。

客户流失预测：逻辑回归可以用于预测用户是否会取消订阅服务或停止使用某个产品。此类问题在电信、金融和零售行业非常常见。

欺诈检测：逻辑回归被用于检测在线支付系统中的欺诈行为，判断交易是否属于欺诈行为或正常交易。

2. 多分类问题

逻辑回归通过使用 Softmax 函数（多项式逻辑回归）可以扩展到多类别问题，用于解决目标变量有多个类别的情况。常见的应用包括：

图像分类：在计算机视觉领域，逻辑回归可以用于识别图像中物体的种类（如猫、狗、鸟等）。虽然神经网络（如卷积神经网络）是更常见的选择，但在一些简单的任务中，多项式逻辑回归仍然可以有效地工作。

文本分类：在自然语言处理（NLP）领域，逻辑回归常用于将文本分类为多个类别。例如，新闻文章分类（体育、政治、娱乐等），情感分析（正面、负面、中性）等。

手写数字识别：逻辑回归也可以用于手写数字的识别任务。比如，MNIST数据集中的手写数字分类任务可以通过多项式逻辑回归来解决。

3. 风险评估

逻辑回归经常用于各种类型的风险评估，特别是在金融、医疗和保险领域。

医疗风险评估：通过逻辑回归模型预测患者在未来一定时间内发生某种健康事件的风险（如心脏病发作、中风等）。模型可能会使用患者的年龄、体重、血压、胆固醇水平等特征。

保险风险评估：保险公司使用逻辑回归来评估潜在客户的风险。通过分析个人的历史数据、车主信息、健康状况等，来预测客户发生理赔的概率。

4. 营销与广告

逻辑回归在 市场营销 和 广告 领域也有广泛的应用。常见的应用场景包括：

客户细分：根据客户的购买行为、浏览记录、社交媒体行为等数据，逻辑回归可以用来对客户进行分类。例如，基于消费行为将客户分为高价值客户、潜力客户和流失客户等。

广告点击率预测：广告平台可以使用逻辑回归预测广告的点击概率。通过分析广告内容、用户属性、历史点击数据等信息，模型可以预测广告的点击率（CTR），从而优化广告投放策略。

5. 推荐系统

逻辑回归也常用于 推荐系统 中，特别是在根据用户历史行为预测其兴趣和偏好的任务中。例如：

电影推荐：通过用户的观看历史、评分、收藏等信息，逻辑回归模型可以预测用户是否会喜欢某部电影。

电商平台的产品推荐：根据用户的浏览记录、购买历史、搜索关键词等，预测用户对某个产品的兴趣，从而推荐相关商品。

6. 目标预测与异常检测

逻辑回归还可用于预测某些特定目标或检测异常值。

行为预测：例如，预测用户是否会购买某个特定的产品，或者是否会继续使用某个应用。

异常检测：逻辑回归可以用来检测数据中的异常点，特别是在时间序列分析中。当数据中出现异常或不符合常规模式的点时，逻辑回归可以识别出这些异常行为。

7. 医疗诊断与预测

在医学领域，逻辑回归被广泛用于疾病的预测与诊断。常见应用包括：

癌症预测：根据患者的生物标志物、影像数据和基因信息，逻辑回归模型可以预测患者是否患有癌症。

糖尿病预测：通过分析患者的年龄、体重、血糖水平等特征，逻辑回归可以用于预测一个人是否患有糖尿病。

8. A/B 测试分析

在进行 A/B 测试（即对比两种或多种策略效果）时，逻辑回归可以用来分析不同策略对用户行为的影响。例如，分析在不同广告页面、不同促销方式或不同推荐系统下，用户的转化率是否有显著差异。

9. 自然语言处理（NLP）

在NLP领域，逻辑回归被用作文本分类的一种简单且有效的模型。常见的应用包括：

情感分析：逻辑回归可以通过分析文本中的单词特征来预测其情感标签，如正面、负面或中性情感。

垃圾邮件检测：逻辑回归也可以用于将电子邮件分类为垃圾邮件或正常邮件，基于邮件内容、发件人等特征。

10. 预测客户流失

在许多订阅服务（如电信、视频网站等）中，逻辑回归可以用来预测客户是否会取消订阅（即客户流失）。通过分析用户的使用习惯、付款历史、投诉记录等特征，模型可以预测哪些用户最可能流失，并提前采取措施进行干预。

九、总结

总的来说，逻辑回归是一个非常基础但强大的分类模型，特别适合于需要高效处理二分类任务的场景。通过掌握逻辑回归的基本原理与技巧，我们能够在实际问题中快速构建、训练和优化分类模型，从而为决策提供可靠的支持。如果内容上有错误或者讲得不好的地方还请指正。