机器学习:集成学习4(XGBoost前置知识泰勒展开式1)

目录标题

御三家:

XGBoost、LightGBM、CatBoost

泰勒展开二阶氏是啥

二阶泰勒展开式(通常也叫二阶泰勒公式)。它的核心思想是:用一个二次多项式去近似一个函数在某一点附近的值。

一、公式长什么样?

设函数 (f(x)) 在点 (x_0) 处有二阶导数,则 (f(x)) 在 (x_0) 附近的二阶泰勒展开式为:

f ( x ) ≈ f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) + f ′ ′ ( x 0 ) 2 ! ( x − x 0 ) 2 f(x) \approx f(x_0) + f'(x_0)(x - x_0) + \frac{f''(x_0)}{2!}(x - x_0)^2 f(x)≈f(x0)+f′(x0)(x−x0)+2!f′′(x0)(x−x0)2

其中 (2! = 2)。

如果写成带余项的形式:

f ( x ) = f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) + f ′ ′ ( x 0 ) 2 ( x − x 0 ) 2 + R 2 ( x ) f(x) = f(x_0) + f'(x_0)(x - x_0) + \frac{f''(x_0)}{2}(x - x_0)^2 + R_2(x) f(x)=f(x0)+f′(x0)(x−x0)+2f′′(x0)(x−x0)2+R2(x)

余项 ( R 2 ( x ) (R_2(x) (R2(x)) 是比 ( ( x − x 0 ) 2 ((x - x_0)^2 ((x−x0)2) 更高阶的无穷小。

二、每一项是什么意思?

项 含义
( f ( x 0 ) (f(x_0) (f(x0)) 函数在 (x_0) 处的值(保证近似曲线过该点)
( f ′ ( x 0 ) ( x − x 0 ) (f'(x_0)(x - x_0) (f′(x0)(x−x0)) 一阶项,保证在该点斜率相同(线性近似)
( f ′ ′ ( x 0 ) 2 ( x − x 0 ) 2 (\frac{f''(x_0)}{2}(x - x_0)^2 (2f′′(x0)(x−x0)2) 二阶项,保证在该点弯曲方向(凹凸性)相同

简单说:

  • 零阶:只对齐函数值
  • 一阶:对齐函数值 + 斜率(切线)
  • 二阶:再对齐弯曲程度(抛物线)

三、举个实际例子:对 ( f ( x ) = e x (f(x) = e^x (f(x)=ex) 在 ( x 0 = 0 (x_0 = 0 (x0=0) 处展开

第1步:求各阶导数

f ( x ) = e x f(x) = e^x f(x)=ex

f ( 0 ) = e 0 = 1 f(0) = e^0 = 1 f(0)=e0=1

f ′ ( x ) = e x ⇒ f ′ ( 0 ) = 1 f'(x) = e^x \Rightarrow f'(0) = 1 f′(x)=ex⇒f′(0)=1

f ′ ′ ( x ) = e x ⇒ f ′ ′ ( 0 ) = 1 f''(x) = e^x \Rightarrow f''(0) = 1 f′′(x)=ex⇒f′′(0)=1

第2步:代入二阶泰勒公式

e x ≈ f ( 0 ) + f ′ ( 0 ) x + f ′ ′ ( 0 ) 2 ! x 2 e^x \approx f(0) + f'(0)x + \frac{f''(0)}{2!}x^2 ex≈f(0)+f′(0)x+2!f′′(0)x2

e x ≈ 1 + 1 ⋅ x + 1 2 x 2 e^x \approx 1 + 1 \cdot x + \frac{1}{2}x^2 ex≈1+1⋅x+21x2

所以:

e x ≈ 1 + x + x 2 2 \boxed{e^x \approx 1 + x + \frac{x^2}{2}} ex≈1+x+2x2

第3步:验证近似效果

取 (x = 0.1):

真实值:

e 0.1 ≈ 1.105170185 e^{0.1} \approx 1.105170185 e0.1≈1.105170185

二阶近似:

1 + 0.1 + 0.1 2 2 = 1 + 0.1 + 0.005 = 1.105 1 + 0.1 + \frac{0.1^2}{2} = 1 + 0.1 + 0.005 = 1.105 1+0.1+20.12=1+0.1+0.005=1.105

误差约为:

1.105170185 − 1.105 = 0.000170185 1.105170185 - 1.105 = 0.000170185 1.105170185−1.105=0.000170185

已经非常接近了。

再取 (x = 0.5):

真实值:

e 0.5 ≈ 1.648721271 e^{0.5} \approx 1.648721271 e0.5≈1.648721271

二阶近似:

1 + 0.5 + 0.25 2 = 1 + 0.5 + 0.125 = 1.625 1 + 0.5 + \frac{0.25}{2} = 1 + 0.5 + 0.125 = 1.625 1+0.5+20.25=1+0.5+0.125=1.625

误差约为:

1.648721271 − 1.625 = 0.023721271 1.648721271 - 1.625 = 0.023721271 1.648721271−1.625=0.023721271

离 (x_0 = 0) 越远,误差越大,这符合泰勒展开"局部近似"的特点。

相关推荐
An独行者1 小时前
融合生长阶段信息的深度学习:冬小麦叶片氮含量无人机高光谱估算新方法
人工智能·深度学习·无人机
gnsnswa1 小时前
回归岗位价值:CAIE 认证适合人群与能力定位
人工智能·网络协议·职场和发展·产品经理·创业创新·信息与通信·ai写作
ZaferLiu1 小时前
我给自家 RAG 装了一道 Jev 闸门:从设计到上线的完整实录
人工智能
爱签AI电子合同1 小时前
电子合同大批量怎么测?并发与批量处理维度专项测评
服务器·数据库·人工智能·企业微信·电子签名
johnsong1 小时前
当AI Agent遇见治理革命
人工智能
AI酒旅实战开发1 小时前
拆解一个AI旅游Agent的完整技术栈:从前端对话到MCP到支付
人工智能·旅游
土星云SaturnCloud1 小时前
HRNet-pose 算法全解析:从高分辨率网络原理到土星云 SE110S 边缘部署实战
服务器·人工智能·算法·ai·边缘计算
一水鉴天1 小时前
家庭AI公约与思考能力培养:a / every / some 20260921(元宝)
人工智能
老马识码1 小时前
[agent开发面试]上下文工程与压缩:Agent 的稀缺资源
人工智能·面试