5.1 逻辑回归简介
逻辑回归（Logistic Regression）是一种广义线性模型，主要用于处理分类问题。它通过对特征进行线性组合，然后通过Sigmoid函数将结果映射到(0,1)区间，以此来预测样本属于某个类别的概率。逻辑回归模型不仅能够预测分类结果，还能给出属于某一类别的概率估计。
损失函数
逻辑回归通常使用交叉熵（Cross Entropy）作为损失函数，它能够衡量模型预测概率分布与真实概率分布之间的差异。交叉熵损失函数的形式如下：
其中，m是样本数量，y_i是样本的真实标签，h_theta(x_i)是模型对第i个样本的预测概率。
参数优化
逻辑回归模型的参数通过最大似然估计（MLE）进行优化，通常使用梯度下降法来最小化损失函数，从而求解模型参数。
逻辑回归的优缺点
优点：
模型简单：逻辑回归模型形式简单，易于理解和实现。
输出概率：能够给出样本属于某一类别的概率估计。
凸函数优化：损失函数是凸函数，易于求解全局最优解。
泛化能力：逻辑回归对小噪声的鲁棒性较好，不易过拟合。
缺点：
表达能力有限：逻辑回归是线性模型，对于非线性问题需要进行特征工程。
特征处理：需要对连续特征进行离散化，以增强模型的表达能力。
高维稀疏数据：在高维稀疏数据下，逻辑回归的性能可能不佳。
应用场景
逻辑回归广泛应用于各种二分类问题，如垃圾邮件检测、疾病诊断、金融欺诈预测等。它也可以通过一对多（One-vs-Rest）或多项逻辑回归（Multinomial Logistic Regression）的方式来处理多分类问题。
5.1.1 什么是逻辑回归
5.1.2 逻辑回归应用场景
5.1.3 逻辑回归损失函数
5.1.4 损失函数的梯度
5.1.5 API的使用
5.2 多任务分类
5.2.1 一对多（OVR）
5.2.2 Softmax 回归 （多项逻辑回归）
5.3 手写数字识别
5.3.1 数据集说明
5.3.2 逻辑回归实现手写数字识别
