机器学习(李宏毅)——Auto-Encoder

一、前言

本文章作为学习2023年《李宏毅机器学习课程》的笔记,感谢台湾大学李宏毅教授的课程,respect!!!

二、大纲

  1. Basic Idea of Auto-encoder
  2. Feature Disentanglement
  3. Discrete Latent Representation
  4. More Applications

三、Basic Idea of Auto-encoder

Self-supervised Learning Framework

在讲Auto-encoder之前,先再温习一下Self-supervised Learning Framework,即自监督学习框架。

最典型的就是BERT模型了,可参照本人BERT博客。框架如下图所示:

一言以蔽之:有一堆没有标注的资料data,把资料的部分遮住,丢到预训练模型里面,期待输出和遮住部分越接近越好。换句话说就是在做填空题。然后预训练模型可针对不同下游任务进行微调和应用。

Auto-encoder

Auto-encoder也可以看成是Self-supervised Learning的一种,虽然Auto-encoder比Self-supervised Learning提出的还要早。

举例而言,将Auto-encoder应用在图像生成领域,那就是类似于Cycle GAN的思想,如下图:

说明:有一堆未标注的图片,经过NN Encoder变成一个向量vector,再经过NN Decoder还原至原来的输入图片,期待输入输出越接近越好,这就是Auto-encoder的基本思想。

那为什么这招能够work呢?

我个人的理解这是一种空间映射,将图像空间和矩阵空间映射在一起,而这个映射关系完全可以自己定义。

什么叫自己定义,举例而言,假设矩阵就两列,如果图片中看到光头的,矩阵第一维值就是1,其他为0。没看到光头,矩阵第一维值就是0,其他为1。这是一种方法,当然还可以是其他方法,比如男女分开、黑发黄发等。

这让我想到了一个游戏(没玩过的可以pass):这是开,这是闭,这是开还是闭。文字"开"、"闭"完全可以映射到手势、嘴巴等部分,但是要符合规律即可,起初没人告诉我"开"、"闭"应该对应什么,好似Auto-encoder是Self-supervised一样,需要去找一种映射关系,满足输出结果规律。

De-noising Auto-encoder

这也是Auto-encoder的一种,只不过是加入了noises,如下图所示:

说明:先对原始图片加入杂讯,杂讯图片再丢入Auto-encoder中,期待输入的结果和原始图片越像越好,这不就和BERT一模一样吗!BERT是在做填空题,它是在去杂讯。(不禁让我想起了去马的操作,想跃跃欲试了~)

以下是把de-noising auto-encoder思想套进BERT:

四、Feature Disentanglement

什么叫做Feature Disentanglement?

就是不要让Feature 纠结在一起,要把它们分开来。

举例而言,语音辨识经过Encoder的向量既有语者的资讯,又有声音的内容,如下图:

那怎么把这两者分开呢?参考左下角的链接。

分开后又有啥应用呢?

柯南变声器,或者是可以伪造别人的声音,听着这操作很骚啊~

说明:

将新垣结衣的语者特征和李宏毅老师的文字内容拼接,就可以以新垣结衣的声音来上课了。

五、Discrete Latent Representation

啥是Discrete Latent Representation,翻译成中文是离散潜在表示,其实这里就是针对Encoder得到的向量而言,向量这一块的表示方法,上面也提到了这块内容,就是你爱咋定义映射关系就咋定义,于是乎有了各种各样的定义方式,如下图:

说明:可以是Real numbers、Binary、One-hot等。

也可以设定一个索引表(codebook),看这个编码向量和索引表中哪个向量越接近(类似于self-attention中的q、k),如下图:

更狂一点的就是Encoder出来的不一样要是向量,直接就是一段文字:

直接一段文字,那不就是摘要吗?对,没错!

为了让模型学会说人话,还需要一个老师(Discriminator),如下图:

六、More Applications

不得不说,真是博大精深啊!

当然,还有其他应用,比如:

1、Generator:把Decoder拿出来,直接当成图片生成器来用。

2、Compression(压缩)

NN Encoder就是在做压缩Compression,可以直接拿来做图片压缩相关工作,再通过NN Decoder解压缩回去(Decompression),虽然会有一点图片失真。

3、Anomaly Detection(异常检测)

思想很直接,就是如果今天是一张不同于训练集的图片送入Auto-encoder中,那是还原不回去的,domain不一样嘞,从而可以检测出异常。

可以应用在Fraud Detection(欺诈检测)、Network Intrusion Detection(网络入侵检测)、Cancer Detection(癌症检测)等领域。

相关推荐
麻雀无能为力33 分钟前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心36 分钟前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield1 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域2 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技2 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_12 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎3 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎4 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊4 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪