深度学习DeepLearning二元分类 学习笔记

文章目录

类别区分

变量与概念

决策边 置信度阈值threshold 过拟合 欠拟合
正则化 高偏差 lambda(λ)

线性回归受个别极端值影响,不适合用于分类

逻辑回归

  1. 输出值介于(0,1)

  2. 解决输出标签,判断真值

  3. 用于回归和分类

Sigmoid函数

图注:z越大,函数g(z)值越趋近于1;z为负数,越小则函数g(z)值越趋近于零。

公式

f w ⃗ , b = g ( w ⃗ ∗ x ⃗ + b ) = 1 1 + e − ( w ⃗ ∗ x ⃗ + b ) f_{\vec{w},b}=g(\vec{w}*\vec{x}+b)=\dfrac{1}{1+e^{-(\vec{w}*\vec{x}+b)}} fw ,b=g(w ∗x +b)=1+e−(w ∗x +b)1

P ( y = 0 ) + P ( y = 1 ) = 1 P(y=0)+P(y=1)=1 P(y=0)+P(y=1)=1

一般写法: f w ⃗ , b ( x ⃗ ) = P ( y = 1 ∣ x ⃗ ; w ⃗ , b ⃗ ) f_{\vec{w},b}(\vec x)=P(y=1|\vec x;\vec w,\vec b) fw ,b(x )=P(y=1∣x ;w ,b )

含义:w,b为影响因子的时候,选中x行向量时,y=1的概率是多少。

决策边

逻辑损失函数和代价函数

L ( f w ⃗ , b ( x ⃗ ( i ) ) , y ( i ) ) = − y ( i ) l o g ( f w ⃗ , b ( x ( i ) ) ) − ( 1 − y ( i ) ) l o g ( 1 − f w ⃗ , b ( x ⃗ ( i ) ) ) L(f_{\vec w,b}(\vec x^{(i)}),y^{(i)})=-y^{(i)}log(f_{\vec w,b}(x^{(i)}))-(1-y^{(i)})log(1-f_{\vec w,b}(\vec x^{(i)})) L(fw ,b(x (i)),y(i))=−y(i)log(fw ,b(x(i)))−(1−y(i))log(1−fw ,b(x (i)))

分取值写,则如下图:

负的log函数取零到一的部分。如上图。

平方误差代价函数不适用原因:会出现多个局部最小值。

简化的代价函数为 J ( w ⃗ , b ) = − 1 m ∑ i = 1 m [ L ( f w ⃗ , b ( x ⃗ ( i ) ) , y ( i ) ] J(\vec w, b)=-\dfrac{1}{m}\sum\limits_{i=1}^m[L(f_{\vec w,b}(\vec x^{(i)}),y^{(i)}] J(w ,b)=−m1i=1∑m[L(fw ,b(x (i)),y(i)]
它由极大似然估计法推出。

凸函数原因:凸优化学习

逻辑回归的梯度下降

重复地更新w和b,令其值为旧值-(学习率 α ∗ α * α∗ 偏导数项)

泛化

若一个模型能从从未见过的数据中做出准确的预测,我们说它能够从训练集泛化到测试集。我们的目标是构建一个泛化精度尽可能高的模型

一个模型不能太过特殊以至于只能用于一些数据,也不能过于宽泛难以拟合数据。

过拟合的解决方案

  1. 收集更多数据,但数据收集能力可能有上限。
  2. 观察是否可以用更少特征,应选用最相关特征,但有些被忽略的特征可能实际上有用。有些算法可以自动选择合适的特征。
  3. 正则化,w~1~到w~n~可以缩小以适应训练集,不推荐缩小b

正则化

一种惩罚,如果某一个w的增大使代价函数J增大,那它实际应该减小。

J ( w ⃗ , b ) = 1 2 m [ ∑ i = 1 m ( f w ⃗ , b ( x ⃗ ( i ) ) − y ( i ) ) 2 + λ 2 m ∑ j = 1 n w j 2 + λ 2 m b 2 ] ( λ > 0 ) J(\vec w, b)=\dfrac{1}{2m}[\sum\limits_{i=1}^m(f_{\vec w, b}(\vec x^{(i)})-y^{(i)})^2+\dfrac{λ}{2m}\sum\limits_{j=1}^nw_j^2+\dfrac{λ}{2m}b^2](λ>0) J(w ,b)=2m1[i=1∑m(fw ,b(x (i))−y(i))2+2mλj=1∑nwj2+2mλb2](λ>0)

选择合适的λ以避免过拟合和欠拟合。

相关推荐
懒惰才能让科技进步19 分钟前
从零学习大模型(十二)-----基于梯度的重要性剪枝(Gradient-based Pruning)
人工智能·深度学习·学习·算法·chatgpt·transformer·剪枝
没有不重的名么30 分钟前
门控循环单元GRU
人工智能·深度学习·gru
love_and_hope34 分钟前
Pytorch学习--神经网络--搭建小实战(手撕CIFAR 10 model structure)和 Sequential 的使用
人工智能·pytorch·python·深度学习·学习
Chef_Chen37 分钟前
从0开始学习机器学习--Day14--如何优化神经网络的代价函数
神经网络·学习·机器学习
学术头条1 小时前
AI 的「phone use」竟是这样练成的,清华、智谱团队发布 AutoGLM 技术报告
人工智能·科技·深度学习·语言模型
孙同学要努力1 小时前
《深度学习》——深度学习基础知识(全连接神经网络)
人工智能·深度学习·神经网络
AI街潜水的八角2 小时前
基于C++的决策树C4.5机器学习算法(不调包)
c++·算法·决策树·机器学习
喵~来学编程啦2 小时前
【论文精读】LPT: Long-tailed prompt tuning for image classification
人工智能·深度学习·机器学习·计算机视觉·论文笔记
Chef_Chen4 小时前
从0开始学习机器学习--Day13--神经网络如何处理复杂非线性函数
神经网络·学习·机器学习
Troc_wangpeng4 小时前
R language 关于二维平面直角坐标系的制作
开发语言·机器学习