数据挖掘——回归算法

数据挖掘------回归算法

回归算法

回归算法

回归分析

如果把其中的一些因素（房屋面积）作为自变量 ，而另一些随自变量的变化而变化的变量作为因变量 （房价），研究他们之间的非确定映射关系，这种分析就称为回归分析。

回归分析是研究一个或多个自变量与一个因变量之间是否存在某种线性关系或非线性关系的一种统计学方法。

回归和分类的区别:

分类和回归的区别在于输出变量的类型。定量输出称为回归，或者说是连续变量预测;

定性输出称为分类，或者说是离散变量预测。

线性回归

线性回归假设特征和响应满足线性关系

一元线性回归问题函数关系可表示
y = a + b x y=a+bx y=a+bx

根据上式，在确定a、b的情况下，给定一个x值，我们就能够得到一个确定的y值，然而根据上式得到的y值与实际的y值存在一个误差
a、b为参数(parameters)、或称回归系数(regression coefficients)

采用什么样的线性关系误差刻画更好呢？

最小二乘法

基本思想：保证直线与所有点接近

详细做法：

若有n个样本点：（ x 1 ， y 1 ） , ... , （ x n ， y n ）（x_1，y_1）,... ,（x_n，y_n）（x1，y1）,...,（xn，yn），可以用下面的表达式来刻画这些

点与直线y＝a+bx的接近程度:
[ y 1 − ( a + b x 1 ) ] 2 + . . . + [ y n − ( a + b x n ) ] 2 [y_1-(a+bx_1)]^2+...+[y_n-(a+bx_n)]^2 [y1−(a+bx1)]2+...+[yn−(a+bxn)]2

使上式达到最小值的直线y=a+bx就是所求的直线，这种方法称为最小二乘法。

对a和b求偏导数，可以得到:
b = x 1 y 1 + . . . + x n y n − n x ˉ y ˉ x 1 2 + . . . + x n 2 − n x ˉ 2 , a = y ˉ − b x ˉ b=\frac{x_1y_1+...+x_ny_n-n\bar x\bar y}{x_1^2+...+x_n^2-n\bar x^2},a=\bar y-b\bar x b=x12+...+xn2−nxˉ2x1y1+...+xnyn−nxˉyˉ,a=yˉ−bxˉ