一、什么是回归
依据输入x写出一个目标值y的计算方程，求回归系数的过程就叫回归。简言之：根据题意列出方程，求出系数的过程就叫做回归。
回归的目的是预测数值型的目标值y，分类的目的预测标称型的目标值y。
二、线性回归
2.1线性回归的定义
线性回归是一种通过历史数据寻找变量间线性规律的统计方法。它假设因变量（如销售额）与自变量（如广告费）之间存在"直线关系"，并通过拟合这条直线来预测未来结果。例如：广告费越高，销售额可能越高，这种趋势可用一条直线表示。
2.2线性回归与机器学习的关系
线性回归是机器学习中一种有监督学习 （数据有x,有y）的算法,回归问题 主要关注的是因变量 --y(需要预测的值)和一个或多个数值型的自变量--x(特征变量)之间的关系。
因变量和自变量之间的关系:即模型,model,就是我们要求解的系数。
2.3线性回归在数学和ai上的区别
上面的方程式我们人类很多年以前就知道了,但是不叫人工智能算法,因为数学公式是理想状态,是100%对的 ,而人工智能是一种基于实际数据求解最优最接近实际的方程式,这个方程式带入实际数据计算后的结果是有误差的。
举个例子：在日常生活中，我们选择吃烤肠的话，一般是3元一根，根据数学公式可得y=3x，如果你选择吃两根烤肠，理论上按照数学公式来说，你应该支付6元。但是日程生活中大部分商家为了吸引顾客，都是五元两根烤肠，这就与理论数学不一致。计算的结果存在误差。
2.4线性回归的目的
- 预测连续值：比如预测房价、降雨量等数值型结果。
- 量化变量关系：判断广告费对销售额的影响有多大，指导资源分配。
2.5线性回归的分类
- 一元线性回归：仅1个自变量（如广告费）和1个因变量（销售额），对应二维直线。
例如：
比如1个包子是2元 ，3个包子是6元 ，预测5个包子多少钱？
列出方程: y=wx+b，我们知道这是初中学习的一元线性方程 （或一次函数），现在进行求解，
带入（1，2），（3，6）:
2=w*1+b
6=w*3+b
轻易求得 w=2 b=0
模型(x与y的关系): y=2*x+0，现在我们就求得了回归系数w=2,b=0，完成了线性回归。
- 多元线性回归：多个自变量（如广告费+季节+促销），对应多维空间中的"超平面"。
本文文章内容的第4项会进行介绍。
2.6如何实现线性回归
- 找最合适的直线：这条直线需满足"所有点到直线的总误差最小"，常用最小二乘法计算，后续也会提及。
如图，我们要根据植物的生长温度x,去预测生长高度y，我们要找出最合适的直线拟合数据。使该直线能尽可能准确的描述环境温度与植物高度的关系。
- 参数意义 ：直线方程为
Y = 截距 + 斜率×X。
三、损失函数
3.1引入
根据上一个没解决的案例《植物温度与高度之间的关系》，我们继续拓展相关知识：
数据: [[4.2, 3.8]，[4.2, 2.7]，[2.7, 2.4]，[0.8, 1.0]，[3.7, 2.8]，[1.7, 0.9]，[3.2, 2.9]]
我们假设这个最优的方程是生活中无法满足实际结果的y=wx+b，这样的直线有无数条，因为现在w,b暂时没有确定，我们画出随意三条直线看看拟合情况：
三条直线中选最优直线的方式：均方差
让直线的预测值y'与真实值y对比连竖直线，这个数值线的距离越小，效果越好，这条直线就是最优直线。
3.2误差
在上图中，我们可以发现大部分实际点并没有在线上，因此他们之间的这个竖直竖线就是误差。预测值根据公式y=wx+b推理，
把x_1,x_2,x_3...带入进去 然后得出:
y1',=wx_1+b
y2',=wx_2+b
y3',=wx_3+b
...
第一条竖线的大小：计算y1-y1',表示第一个点的真实值和计算值的差值 。之后的竖线大小同理：把第二个点,第三个点...最后一个点的差值全部算出来。
3.2.1 定义
误差 （Error）指的是 预测值 和 真实值 之间的差距。
3.2.2 公式
3.3损失
在上图中，有的点在上面有点在下面,如果直接相加有负数和正数会抵消,体现不出来总误差**,平方**后就不会有这个问题了。
3.3.1 定义
损失（Loss） 是模型预测结果偏离真实值的 量化指标 ，用来衡量模型预测的 **"错误程度"**。
3.3.2 公式
3.4损失函数
现在我们已经得到了总误差，但是总误差会受到样本点的个数的影响，样本点越多，该值就越大，所以我们可以对其平均化，求得平均值，这样就能解决样本点个数不同带来的影响。
在公式中Yi表示实际值，wXi+b表示预测值。用减法是因为他们要得到损失。
3.5求最小损失函数的方法
损失函数越小，我们得到的效果就越好。
（1）初中韦达定理 --抛物线求顶点（-b/2a）
（2）高中求导数值为0
3.6小结
损失即为总误差，误差就是真实值与理想值（预测值）之差，为了避免负数出现的情况下，可以用绝对值或者平方的形式处理这个差值。
函数即自变量(x)与因变量（y）之间的关系.
损失函数：量化模型预测与真实结果之间的差距 。即要找到一个数学关系（模型），让x代入关系式，求得不同的y',让y'与真实值y做差。计算均方差MSE,求法为对所有误差的平方求和再除以样本点个数，得到一个开口向上的抛物线函数。
针对b=0时，求最小的w可以用韦达定理（-b/2a）或求导得到。
w越小，带入原函数y=wx，直线离真实点就越近。w越大，带入原函数y=wx，直线离真实点就越远。
权重ω表示输入特征对输出结果的影响程度，决定了回归直线的斜率。
四、多参数回归
在上一个案例中，我们讨论的是植物生产高度与温度的关系，但是实际上，植物高度的不仅仅有温度影响,还有海拔,湿度,光照等等因素。此时特征就不止一个了，列的方程也不止一个了。因此针对多参数回归有另一解决方法：
题目要求我们根据 各情况求最后一个人的健康程度，这是典型的多参数回归问题。
但是会发现，很难求解（如果非要硬算，也可以，那你加油！）
根据前面说的内容，我们假设这个最优方程为：
同样推到公式，将loss函数展开为与w权重系数有关的式子，如下形式：
此时若能求的w，就能计算出最后一个人的健康程度。
关于如何求多参数回归的系数，下一博客再进行拓展。