2022最新版-李宏毅机器学习深度学习课程-P25 Spacial Transformer Layer

data augmentation/spacial transformer

CNN 并不能够处理影像放大缩小,或者是旋转的问题。所以在做影像辨识的时候,往往都要做 Data Augmentation,把你的训练数据截一小块出来放大缩小、把图片旋转,CNN 才会做到好的结果。

有一个架构叫 spacial Transformer Layer可以处理。

设计一个层,需要的地方=1,不要的地方=0

经过一个NN,FP发生平移

还可以放大或缩小,只需要改变参数

旋转一共需要6个参数

当6个参数全部设定的是整数时,结果比较好处理

但如果是小数时呢?通过最终答案的四舍五入得到结果。但此时梯度也不好计算。

可以这样假设:假设最终结果发生一些微小的变化,四舍五入后得到的结果是一样的,这就说明梯度几乎=0!!

使用插值方法代替四舍五入

最终结果与周围四个值都有关。此时输出值的变化时刻影响最终结果。

把ST看成橙色,它可以放在很多地方。

这个视频的含义是改变一些输入后(变大 变小 左右旋转),经过ST层,输出结果基本不变。

实例

这里用了single ST和multi ST,效果有些变化

这个例子用了2层和4层的ST,输入图片有两种大小规格。

2层的是只识别鸟嘴和鸟翼;4层还识别了其他地方。

相关推荐
Be for thing2 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
武子康3 小时前
AI通关了,游戏就算通过测试了吗?
人工智能·游戏·机器学习
tellmewhoisi4 小时前
深度学习0:数学知识:(雅可比矩阵)
人工智能·深度学习·矩阵
谙弆悕博士8 小时前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
linweidong8 小时前
RTX 4090 Ubuntu + ComfyUI + comfy-kitchen 0.2.41 完整部署文档
机器学习·云原生·conda·pandas·scikit-learn
咕泡科技8 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
龙腾AI白云8 小时前
具身智能模仿学习与人类示教:从观察中习得动作
数据库·机器学习·知识图谱·pygame
电科_银尘8 小时前
【大模型算法与工程 01】机器学习的问题定义:监督、无监督、自监督与强化学习
人工智能·算法·机器学习
罗西的思考21 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考21 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习