这里老师想讲的是multiclass classification和multilable classification的区别,下面是我从其他地方找到的说法:
Multiclass classification 多类分类 意味着一个分类任务需要对多于两个类的数据进行分类。比如,对一系列的橘子,苹果或者梨的图片进行分类。多类分类假设每一个样本有且仅有一个标签:一个水果可以被归类为苹果,也可以 是梨,但不能同时被归类为两类。
Multilabel classification 多标签分类 给每一个样本分配一系列标签。这可以被认为是预测不相互排斥的数据点的属性,例如与文档类型相关的主题。一个文本可以归类为任意类别,例如可以同时为政治、金融、 教育相关或者不属于以上任何类别。
梯度下降优化
Adam(adaptive moment estimation,自适应运动估计)算法
若 w或b 一直沿着 一个方向,Adam算法将自动增大学习率α;若来回震荡,则减小α。
其他类型的层
卷积层
每个神经元只关注前一层的部分输入,优点是能提高计算速度、需要更少的训练数据(减少过拟合的可能)