1. 逻辑回归

1️⃣ 定义 ：逻辑回归是有监督学习：有特征、有标签且标签是离散的；虽然有回归两个字，但它做的不是回归 ，而是做分类；那为什么要叫回归？因为用到了线性回归的结果 ；2️⃣ 应用场景 ：逻辑回归适用于二分类 (也可以做多分类，但不推荐)；原理：数据得到线性回归的处理，会得到一个预测值，把预测值传给Sigmoid这样一个激活函数(也叫S形函数，因为预测后的值比较像一个S)，它会帮忙算出概率；算出概率后，会基于自己定义的阈值，决定是A还是B。3️⃣ 总结：将线性处理后的映射值给到激活函数，它会将这个值映射到[0， 1]这个概率区间，结合自定义的阈值进行分类，>这个阈值是A类，<=则是B类。

混淆矩阵 ：(真True、False假、Positive正例、Negative反例)真实值的正反例(竖着的)、预测值的正反例(横着的)，对于真实值是正例、预测值也是正例的值称为真正例(TP)，真实值是反例、但是预测成正例的值称为伪正例(FP)，真实值是假例、预测的也是假例称为真反例(TN)，真实值是正例、但预测反了称为伪反例(FN)；精确率 = tp/(tp+fb)、召回 = tp/(tp+fn)...）

1.1 逻辑回归的sigmoid激活函数

（sigmoid函数称为激活函数，又叫S型函数，因为映射后的线是S型(如图)，概率值在[0, 1]区间，假设阈值时0.5即只要>=0.5，在上半段的区间，称为正样本，<0.5的在下半段区间，称为负样本；原公式和求导后的公式如图）

1.2 概率

联合概率 ：指两个或多个随机变量同时发生的概率；（这多个随机变量之间没有关系）

PA=0.7，周1早上，周2早上，同时堵车的概率：PAPB=0.70.7=0.49；
条件概率 ：表示事件A在另外一个 事件B已经发生条件下 的发生概率(AB同时发生)，P(A|B)；
PA=0.7，周1早上堵车的情况下，中午再堵车的概率：PB|A=0.7 0.3=0.21；
联合概率和条件概率都是概率相乘；

1.3 极大似然估计

定义：根据抽取的样本的分布来预测整体数据的分布；

推导过程：假设正面概率是θ，则反面概率是(1-θ)；上面六次的结果是相互独立的，属于联合概率，结果相乘：四次正面即4个θ相乘，两个反面即2个(1-θ)相乘，再将两者结果相乘即为：θ⌃4 * (1-θ)⌃2，对θ求值即对公式求极值，令其导数为0；

公式求导：对公式θ⌃4 * (1-θ)⌃2求导：可看成是：(A * B)的导数、且B是个复杂函数：A * B(复杂)=A'B + A*B' = A'B + A*(B复杂函数先外后内)。最后结果是：θ⌃3 * (1-θ)(4-6θ)=0，θ结果有三个值，取2/3；

1.4 对数函数

2. 逻辑回归原理

3. 损失函数

为什么说将最大化问题转为最小化问题？：极大似然指的是最大的概率，但求损失函数时是值越小越好，求最小值，所以可以对极大似然估计的极大值求负值。即先推理出极大似然估计的极大值，再求其负数；上图H(L)公式求的是最大似然估计，所以可以对它前面加符号取其负数，从最大值变为最小值；逻辑回归损失函数 = 负的极大似然估计；

4. 总结

逻辑回归原理：解决分类问题，把线性回归的输出作为逻辑回归的输入 ；

逻辑回归的损失函数：

即为对数似然损失：就是对数最大值的负数形式；图中Loss(L)公式就是极大似然估计，再求负数；

目录