机器学习方法主要分为三种:监督学习、无监督学习、半监督学习。
1.监督学习
神经网络、朴素贝叶斯、线性回归、逻辑回归、随机森林、支持向量机(SVM)都是典型的监督学习方法。
监督学习,即监督机器学习,之所以叫监督学习,是因为它所使用的训练数据集都是标记了的。用标记了的数据集训练算法,使用其能够分类数据或预测结果。在训练过程中, 当训练集的数据被输入到模型中,模型就会开始调整它的权重,直到它能够比较好地拟合数据。既模型的输入-输出,能够近似地符合训练集中的数据点的映射关系。权重的调整发生在交叉验证过程中,目的是为了避免模型过度拟合或欠拟合。监督学习可以有效地帮助解决大规模的现实问题,如分类垃圾邮件(这个是最典型的例子)。
2.无监督学习
神经网络、k-means聚类、基于概率模型的聚类等都是典型的无监督学习算法。
无监督学习,即无监督机器学习,之所以叫无监督学习,是因为它所使用的训练数据集都是未标记的。使用无监督机器学习算法去分析和聚集未标记的数据集,最终数据集会被分成好多个小分组,即数据集的子集,这些子集就是所谓的聚类,它背后的朴素的思想是物以类聚,就是相似的都聚在一起,这里相似的东西就是特征,与监督学习不同的是,这里特征并不是人为指定的,这也是无监督学习的由来。这是都是由算法来发现这些隐藏的模式或数据分组。无监督学习算法有能力去识别所给数据集或信息中相似性和差别,这一特点,使得无监督学习非常适合做 探索性数据分析 、交叉销售策略 、顾客细分 、图像和模式识别。无监督学习还可以用于降低模型的特征数量,它是怎么做到的?它是通过降维来达到的。PCA(Principle component analysis,主成分分析)和SVD(Singular value decomposition,奇异值分解)是常用的两种降维方法。
奇异值分解:一种矩阵分解的方法,将一个矩阵分解为三个矩阵的乘积,其中第二个矩阵是一个对角矩阵,其对角线上的元素是原始矩阵的奇异值。SVD在数据分析、信号处理、图像处理等领域有广泛应用。
3.半监督学习
半监督学习介于监督学习与无监督学习之间。具体来说,在训练阶段,它会使用比较小的标签数据集指导算法从无标签的大数据集进行分类和特征提取。如果监督学习没有足够多的标签数据可用,那么半监督学习可以解决这种问题,还有另一种情况也可以用半监督学习来解决,那就是标记足够多的数据的代价太大的情况。