使用互信息进行无监督学习深度学习中的一个经典问题是监督分类,监督分类需要带标注的输入图像。我们已经学习了如何在 MNIST 和 CIFAR10 数据集上执行分类任务:对于 MNIST 数据集,三层 CNN 配合全连接层可实现高达 99.3% 的准确率;而对于 CIFAR10 数据集,使用 ResNet 或 DenseNet 可获得约 94% 的准确率。这两个数据集均属于已标注数据集。 与监督学习不同,本节的目标是实现无监督学习。我们关注的是无标注条件下的分类问题。核心思路是:如果能够学会对所有训练数据的潜编码向量进行聚类,那么通