机器学习(4) cost function(代价函数)

目录

介绍

  • 书接上文,现在我们的模型是 f w , b x = w x + b f_{w,b}x=wx+b fw,bx=wx+b,其中, w , b w,b w,b是模型参数,也被称为系数或者权重。那么我们有以下的结论
    y ^ ( i ) = f w , b x ( i ) = w x ( i ) + b \hat{y}^{(i)}=f_{w,b}x^{(i)}=wx^{(i)}+b y^(i)=fw,bx(i)=wx(i)+b

    现在我们的目标是找到合适的模型参数 w w w和 b b b,使得对于所有的 ( x ( i ) , y ( i ) ) (x^{(i)},y^{(i)}) (x(i),y(i)), y ^ ( i ) \hat{y}^{(i)} y^(i)尽可能接近 y ( i ) y^{(i)} y(i)

  • 为了在整个数据集上计算误差,定义下面的函数为 c o s t f u n c t i o n cost\ function cost function,为了让这个值不会随着训练集大小增加而变大,计算平均平方误差,其中 m m m为样本数量,除以2是为了方便求导
    J ( w , b ) = 1 2 m ∑ i = 1 m ( y ^ ( i ) − y ( i ) ) 2 J(w,b) =\frac{1}{2m}\sum_{i=1}^{m}(\hat y^{(i)}-y^{(i)})^2 J(w,b)=2m1i=1∑m(y^(i)−y(i))2

  • 举个简单的例子,假设实际的点坐标为 ( 1 , 1 ) , ( 2 , 2 ) , ( 3 , 3 ) (1,1),(2,2),(3,3) (1,1),(2,2),(3,3), c o s t f u n c t i o n cost\ function cost function参数为 w = 0.5 , b = 0 w=0.5,b=0 w=0.5,b=0,有 f ( x ) = 0.5 x f(x)=0.5x f(x)=0.5x,样本数 m = 3 m=3 m=3,图像如下

  • 那么有
    J ( w , b ) = 1 2 × 3 ( 0.5 − 1 ) 2 + ( 1 − 2 ) 2 + ( 1.5 − 3 ) 2 ≈ 0.58 J(w,b)=\frac{{1}}{{2\times3}}(0.5-1)\^2+(1-2)\^2+(1.5-3)\^2\approx0.58 J(w,b)=2×31(0.5−1)2+(1−2)2+(1.5−3)2≈0.58

    这就是所谓的 c o s t f u n c t i o n cost\ function cost function,线性回归的目标就是找到最合适的 ( w , b ) (w,b) (w,b),使得 J ( w , b ) J(w,b) J(w,b)尽可能地小。对于每一个 ( w , b ) (w,b) (w,b),针对数据集进行训练,会得到下面这样一个等高线图

  • 梯度下降( g r a d i e n t d e s c e n t gradient\ descent gradient descent)算法就是一个找到等高线图最低点的算法,也就是找到使得 c o s t f u n c t i o n cost\ function cost function最小的参数 w w w和 b b b。这个算法在机器学习领域被广泛运用,我么将在下节学习这个算法

相关推荐
吴佳浩7 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_0910 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区11 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔12 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区12 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM12312 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI12 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健13 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV13 小时前
Google 重返第一梯队
人工智能·google·aigc