【machine learning-七-线性回归之成本函数】

监督学习之cost function

在线性回归中,我们说到评估模型训练中好坏的一个方法,是用成本函数来衡量,下面来详细介绍一下

成本函数

权重、偏置

在线性回归( https://blog.csdn.net/zishuijing_dd/article/details/142131936?spm=1001.2014.3001.5501)一节中,我们要实现的线性模型就是要找出输入x和y的映射关系,这种映射关系可以被表示为y = wx + b,其中需要被确定的两个值,w被称做权重,b被称做偏置。

假设样本数据和拟合的直线如下图:

那么w实际是斜率,b就是截距。样本中的数据用(x(i),y(i))表示,样本中的y值是真实值,通常用y_label标记,而拟合的y = wx + b 线性模型,输入x(i)计算得出的y_predict 被称为预测值。
训练的目标就是让y_predict更接近于y_label,也就是称为更拟合

如何实现拟合数据

方法就是使用成本函数 ,这是一种评估y_predict和y_label的差值(误差)的方法,通常用的成本函数是样本数据误差的平方和,也就是(y_predict-y_label)2的和,当然为了防止误差无限变大,我们使用均值,也就是再除上样本个数,整体的公式如下:

注意一下,这个除了2倍的样本数,主要是为了后面计算简单,y_predict是函数f(w,b)的输出,所以公式最终成了上述样式。

这个误差计算方式就叫做均方误差成本函数。

所以实际上我们训练函数的目标就是,寻找合适的w和b让这个成本函数的值更小

不同的应用经常会选用不同的成本函数,但是平方误差几乎是线性回归的必选,在很多应用上的效果都不错。

成本函数是如何寻找出来w和b,使成本函数值最小化?

为了简化计算,以下面情况为例:

假设样本数据为(1,1),(2,2),(3,3)

偏置b 为0

我们的回归函数就是关于输入x的一个函数 ,所以它的横轴是x,如下图所示:

当w取不同值的时候,我们来计算成本函数:

注意一点J是关于w的函数 ,当w 为1的时候,按照公式计算成本函数J:

通过计算,我们知道当w为1的时候,成本函数的结果为0

然后我们依次计算w为0.5,1.5等的时候,成本函数的结果,然后可视化画出成本函数的线:

10412c9d14268716fdea40.png)

通过对成本函数的观察,我们会找到一些w,使得成本函数尽量的小。这些w就是最终的w。

至此我们就找到了合适的w,当然b也是同样的方式。

相关推荐
ゞ 正在缓冲99%…10 分钟前
leetcode76.最小覆盖子串
java·算法·leetcode·字符串·双指针·滑动窗口
xuanjiong10 分钟前
纯个人整理,蓝桥杯使用的算法模板day2(0-1背包问题),手打个人理解注释,超全面,且均已验证成功(附带详细手写“模拟流程图”,全网首个
算法·蓝桥杯·动态规划
惊鸿.Jh29 分钟前
【滑动窗口】3254. 长度为 K 的子数组的能量值 I
数据结构·算法·leetcode
明灯L30 分钟前
《函数基础与内存机制深度剖析:从 return 语句到各类经典编程题详解》
经验分享·python·算法·链表·经典例题
碳基学AI36 分钟前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
补三补四39 分钟前
机器学习-聚类分析算法
人工智能·深度学习·算法·机器学习
独好紫罗兰1 小时前
洛谷题单3-P5718 【深基4.例2】找最小值-python-流程图重构
开发语言·python·算法
正脉科工 CAE仿真1 小时前
基于ANSYS 概率设计和APDL编程的结构可靠性设计分析
人工智能·python·算法
Dovis(誓平步青云)1 小时前
【数据结构】排序算法(中篇)·处理大数据的精妙
c语言·数据结构·算法·排序算法·学习方法
2401_872945092 小时前
【补题】Xi‘an Invitational 2023 E. Merge the Rectangles
算法