目录
[代价函数最小化------梯度下降: 编辑](#代价函数最小化——梯度下降: 编辑)
[Sigmoid 函数](#Sigmoid 函数)
[编辑 正则化](#编辑 正则化)
一、分类问题
监督学习的最主要类型
分类(Classification):
- 身高1.85m,体重100kg的男人穿什么尺码的T恤?
- 根据肿瘤的体积、患者的年龄来判断良性或恶性?
- 根据用户的年龄、职业、存款数量来判断信用卡是否会违约?
输入变量可以是离散的,也可以是连续的。
二分类
们先从用蓝色圆形数据定义为类型1,其余数据为类型2; 只需要分类1次 步骤:①->②
多分类
我们先定义其中一类为类型1(正类),其余数据为负类(rest); 接下来去掉类型1数据,剩余部分再次进行二分类,分成类型2和负类;如果有n类,那就需要分类n-1次 步骤:①->②->③->......
二、Sigmoid函数
σ(z)代表一个常用的逻辑函数(logistic function)为S形函数(Sigmoid function)
![](https://file.jishuzhan.net/article/1722892734794043394/e82b3ce1605c75fe741e69401b85af16.webp)
合起来,我们得到逻辑回归模型的假设函数:
![](https://file.jishuzhan.net/article/1722892734794043394/919d7cffa5a48e4856feaa0b7a5121c7.webp)
当σ(z)大于等于0.5时,预测 y =1
当σ(z)小于0.5时,预测 y =0
![](https://file.jishuzhan.net/article/1722892734794043394/d417ed7c0533fe970ea9405b905eab4c.webp)
三、逻辑回归求解
逻辑回归模型的假设函数:
逻辑函数(logistic function)公式为:
二分类相当于一个概率模型:
合起来:
代价函数推导过程(极大似然估计):
似然函数为:
似然函数两边取对数,则连乘号变成了连加号:
代价函数为:
交叉熵损失函数
![](https://file.jishuzhan.net/article/1722892734794043394/4d0e411f1912875cfdb8aea7b5e82b46.webp)
代价函数就是对m个样本的损失函数求和然后除以m:
逻辑回归的代价函数
![](https://file.jishuzhan.net/article/1722892734794043394/abec87483734c7ba538048c2689077d4.webp)
代价函数最小化------梯度下降: ![](https://file.jishuzhan.net/article/1722892734794043394/a947cea447e1f737c15af1edd703fc53.webp)
正则化
正则化:目的是为了防止过拟合
当 λ 的值开始上升时,降低了方差。
![](https://file.jishuzhan.net/article/1722892734794043394/24cbabecc336fa17b5d80b9a6cf05c82.webp)
四、逻辑回归代码实现
Sigmoid 函数
代价函数
![](https://file.jishuzhan.net/article/1722892734794043394/aa65c25a1ecf4c49773d1ffa6ce582f5.webp)
正则化
![](https://file.jishuzhan.net/article/1722892734794043394/e68f954245239830955607ca4bc97360.webp)
![](https://file.jishuzhan.net/article/1722892734794043394/0d5fc9983626e22ef5c92d8f91e6b02d.webp)