简单来说这节就是线性分类器,从基于概率密度估计的分类器设计到直接基于样本的直接分类器设计;
首先选定判别函数类和一定的目标,利用样本集确定出函数类中的某些未知参数,使所选的准则最好。

一、直接确定判别函数
设定判别函数形式,用样本集确定参数,使用准则函数,表达分类器应该满足的要求,这些准则的最优并不一定于错误率最小相一致:次优分类器。
广义线性判别函数是形式最简单的判别函数,但是不能用于复杂情况:
二、Fisher Linear Discriminant analysis
理论上可以证明,PCA在数据单个高斯分布是最佳的,有利于与表示数据,在分类问题中,不同类别的分布不能相同

PCA的核心思想是方差最大+相互正交,两个均值之间的距离,和两个标准差。
FDA的出发点是把所有样本投影到一维,使在投影线上最易于分类











三、感知机 Perceptron







最小平方误差MSE准则函数




