【动手学深度学习】09 Softmax 回归 + 损失函数 + 图片分类数据集(个人向笔记)

回归 vs. 分类

回归

  • 连续值
  • 一个输出
  • 自然区间 R R R
  • 与真实值的区别作为损失

分类

  • 离散值
  • 多个输出
  • 输出预测是第 i 类的置信度

损失函数的选择

  • 若选择均方误差
  • 只取最大值不是特别合理,所以需要一个更置信的方法,即最大值比其他值都大出一个阈值
  • 期望输出的是一个概率,即所有的和为1,用 Softmax
  • 用交叉熵损失做分类问题
  • 交叉熵损失的含义是当前预测的这个类别的概率有多接近真实的 1

损失函数

  • L2 Loss:蓝色表示 y = 0 , y ′ y = 0,y' y=0,y′ 变化时函数的变化。绿色曲线为似然函数,是一个高斯分布。橙色表示梯度
  • 这个梯度表示离远点越远,变化越快。离原点越近,变化越慢。
  • L1 Loss
  • 这个梯度表示变化速度恒定
  • Huber' s Robust Loss
  • 结合了上面两种损失的优点,在大的时候变化恒定,小的时候可以越来越小

图片分类数据集

  • MNIST数据集过于简单,课上使用更复杂的Fashion-MNIST
  • 导入相应的包
  • 这里不知道为什么在线下载下载不了,只能自己下载了:https://zhuanlan.zhihu.com/p/551799637。注意这里还需要自己创建一个data文件夹
  • 这里 [0][0] 表示第0张图片的第0列信息,即图片信息。而 [0][1] 则是标签信息
  • 下面是绘制出数据集的一些图片的信息
  • 其中有细节都被跳过了,python基础不好的我感到有些疑惑,比如那个循环。还有axes要展平是因为它是一个二维数组要变成一维的

  • 获取一个批次的数据,看看读取这些数据需要多久
  • 数据读取部分,感觉套路就是①定义一个trans,肯定要transforms.Totensor(),然后②定义 dataset,③把 dataset 传到 data.DataLoader 并且定义好 batch_sizeshufflenum_workers即可


Softmax从零实现

下面是直接在jupyter上做笔记了~




后面的部分太难了~反正以后也是用封装的,于是看过去就是了,没有详细理解


Softmax回归简洁实现

相关推荐
Json_5 分钟前
Vue 构造器 Vue.extend
前端·vue.js·深度学习
Json_14 分钟前
Vue 实例方法
前端·vue.js·深度学习
mosquito_lover128 分钟前
矿山边坡监测预警系统设计
人工智能·python·深度学习·神经网络·视觉检测
船长@Quant29 分钟前
PyTorch量化进阶教程:第二章 Transformer 理论详解
pytorch·python·深度学习·transformer·量化交易·sklearn·ta-lib
Json_42 分钟前
实例入门 实例属性
前端·深度学习
Json_42 分钟前
JS中的apply和arguments小练习
前端·javascript·深度学习
Json_1 小时前
Vue Methods Option 方法选项
前端·vue.js·深度学习
Json_2 小时前
Vue v-bind指令
前端·vue.js·深度学习
Json_2 小时前
JS中的冒泡简洁理解
前端·javascript·深度学习
Json_2 小时前
Vue 自定义指令
前端·vue.js·深度学习