快速入门深度学习系列(2)----损失函数、逻辑回归、向量化

针对深度学习入门新手目标不明确 知识体系杂乱的问题 拟开启快速入门深度学习系列文章的创作

旨在帮助大家快速的入门深度学习

写在前面:

本系列按照吴恩达系列课程顺序发布(说明一下为什么不直接看原笔记 因为内容太多 没有大量时间去阅读 所有作者需要一次梳理清楚 并整理思路 方便后续学习

对于入门的建议就是 在看文章的时候 如果有不懂的概念及时的搜索一下

本人学识有限 以上内容均根据本人理解 如有不对的地方大家多多指正 欢迎交流

本系列吴恩达深度学习入门系列作为起点 可能会穿插代码或者公式的推导

本系列也是对本人自2月25日以来学习深度学习内容的梳理与总结

希望我们都可以亲手杀死曾经那个颓废的自己!


逻辑回归用于二分类任务 本文也以这个例子进行说明

如图 这是一个二分类任务 1代表猫 0代表狗

在计算机中 图像的表示形式如下图所示 这里有三个通道 红绿蓝 这里只是化了5*4个格子 代表像素 实际上 像素可以是64*64 或者更大

以64*64像素为例 在输入之前 我们要把这些像素用特征向量来表示 对于本例 像素的大小就是64*64*3

这里的维度 大家一定搞清楚 很重要 不理解的看下面的图

解释一下这张图 首先y预测就是对y的估计 表示了y=1是一只猫的可能性 我们需要用w x b表示y预测 但是这样是不行的 因为我们输出的是概率 在0-1之间 所以要套上一层sigmoid激活函数

对于激活函数的定义 和曲线已经画出 顺便说一下 训练的过程就是不断学习w b的过程 以更好的预测y

损失函数

我们定义一个损失函数 通过让损失函数更趋近于0来更新w b 来更加靠近真实的y

本例损失函数如下图 已经解释的很清楚了

代价函数

注意在表示第i个样本时 括号在上面

梯度下降法

可以看出 梯度下降就是在不断寻找J最小的点 并以此确定w b

计算图

逻辑回归中的梯度下降

对于M个样本的逻辑回归

下面写的有点乱 维度可以看这张 对于W的维度 还是有一些不确定 希望大佬指正

相关推荐
threelab11 分钟前
07.three官方示例+编辑器+AI快速学习webgl_buffergeometry_attributes_integer
人工智能·学习·编辑器
背太阳的牧羊人37 分钟前
tokenizer.encode_plus,BERT类模型 和 Sentence-BERT 他们之间的区别与联系
人工智能·深度学习·bert
学算法的程霖41 分钟前
TGRS | FSVLM: 用于遥感农田分割的视觉语言模型
人工智能·深度学习·目标检测·机器学习·计算机视觉·自然语言处理·遥感图像分类
博睿谷IT99_1 小时前
华为HCIP-AI认证考试版本更新通知
人工智能·华为
一点.点2 小时前
SafeDrive:大语言模型实现自动驾驶汽车知识驱动和数据驱动的风险-敏感决策——论文阅读
人工智能·语言模型·自动驾驶
concisedistinct2 小时前
如何评价大语言模型架构 TTT ?模型应不应该永远“固定”在推理阶段?模型是否应当在使用时继续学习?
人工智能·语言模型·大模型
找了一圈尾巴2 小时前
AI Agent-基础认知与架构解析
人工智能·ai agent
jzwei0232 小时前
Transformer Decoder-Only 参数量计算
人工智能·深度学习·transformer
小言Ai工具箱2 小时前
PuLID:高效的图像变脸,可以通过文本提示编辑图像,通过指令修改人物属性,个性化文本到图像生成模型,支持AI变脸!艺术创作、虚拟形象定制以及影视制作
图像处理·人工智能·计算机视觉
白熊1882 小时前
【计算机视觉】基于深度学习的实时情绪检测系统:emotion-detection项目深度解析
人工智能·深度学习·计算机视觉