1.逻辑斯谛回归
逻辑斯谛回归(LR)是经典的分类方法
1．逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。
逻辑斯谛回归模型源自逻辑斯谛分布，其分布函数F(x)
是S形函数。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。
2.最大熵原理
最大熵原理认为：学习概率模型时，在所有可能的概率模型分布中，最大熵模型是最好的模型。所以，最大熵原理也可以表达为：在满足约束条件的模型集合中选取熵最大的模型。
2.1 最大熵模型
最大熵模型的学习：
求最值问题归结到引进拉格朗日乘子，利用拉格朗日函数来求解：
求偏导，令导函数为0，求解得到最终结果：
也可以用极大似然估计法来求解，结论表明：对偶函数的极大化等价于最大熵模型的极大似然估计。