机器学习:集成学习4(XGBoost前置知识泰勒展开式1)

目录标题

御三家:

XGBoost、LightGBM、CatBoost

泰勒展开二阶氏是啥

二阶泰勒展开式(通常也叫二阶泰勒公式)。它的核心思想是:用一个二次多项式去近似一个函数在某一点附近的值。

一、公式长什么样?

设函数 (f(x)) 在点 (x_0) 处有二阶导数,则 (f(x)) 在 (x_0) 附近的二阶泰勒展开式为:

f ( x ) ≈ f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) + f ′ ′ ( x 0 ) 2 ! ( x − x 0 ) 2 f(x) \approx f(x_0) + f'(x_0)(x - x_0) + \frac{f''(x_0)}{2!}(x - x_0)^2 f(x)≈f(x0)+f′(x0)(x−x0)+2!f′′(x0)(x−x0)2

其中 (2! = 2)。

如果写成带余项的形式:

f ( x ) = f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) + f ′ ′ ( x 0 ) 2 ( x − x 0 ) 2 + R 2 ( x ) f(x) = f(x_0) + f'(x_0)(x - x_0) + \frac{f''(x_0)}{2}(x - x_0)^2 + R_2(x) f(x)=f(x0)+f′(x0)(x−x0)+2f′′(x0)(x−x0)2+R2(x)

余项 ( R 2 ( x ) (R_2(x) (R2(x)) 是比 ( ( x − x 0 ) 2 ((x - x_0)^2 ((x−x0)2) 更高阶的无穷小。

二、每一项是什么意思?

项 含义
( f ( x 0 ) (f(x_0) (f(x0)) 函数在 (x_0) 处的值(保证近似曲线过该点)
( f ′ ( x 0 ) ( x − x 0 ) (f'(x_0)(x - x_0) (f′(x0)(x−x0)) 一阶项,保证在该点斜率相同(线性近似)
( f ′ ′ ( x 0 ) 2 ( x − x 0 ) 2 (\frac{f''(x_0)}{2}(x - x_0)^2 (2f′′(x0)(x−x0)2) 二阶项,保证在该点弯曲方向(凹凸性)相同

简单说:

  • 零阶:只对齐函数值
  • 一阶:对齐函数值 + 斜率(切线)
  • 二阶:再对齐弯曲程度(抛物线)

三、举个实际例子:对 ( f ( x ) = e x (f(x) = e^x (f(x)=ex) 在 ( x 0 = 0 (x_0 = 0 (x0=0) 处展开

第1步:求各阶导数

f ( x ) = e x f(x) = e^x f(x)=ex

f ( 0 ) = e 0 = 1 f(0) = e^0 = 1 f(0)=e0=1

f ′ ( x ) = e x ⇒ f ′ ( 0 ) = 1 f'(x) = e^x \Rightarrow f'(0) = 1 f′(x)=ex⇒f′(0)=1

f ′ ′ ( x ) = e x ⇒ f ′ ′ ( 0 ) = 1 f''(x) = e^x \Rightarrow f''(0) = 1 f′′(x)=ex⇒f′′(0)=1

第2步:代入二阶泰勒公式

e x ≈ f ( 0 ) + f ′ ( 0 ) x + f ′ ′ ( 0 ) 2 ! x 2 e^x \approx f(0) + f'(0)x + \frac{f''(0)}{2!}x^2 ex≈f(0)+f′(0)x+2!f′′(0)x2

e x ≈ 1 + 1 ⋅ x + 1 2 x 2 e^x \approx 1 + 1 \cdot x + \frac{1}{2}x^2 ex≈1+1⋅x+21x2

所以:

e x ≈ 1 + x + x 2 2 \boxed{e^x \approx 1 + x + \frac{x^2}{2}} ex≈1+x+2x2

第3步:验证近似效果

取 (x = 0.1):

真实值:

e 0.1 ≈ 1.105170185 e^{0.1} \approx 1.105170185 e0.1≈1.105170185

二阶近似:

1 + 0.1 + 0.1 2 2 = 1 + 0.1 + 0.005 = 1.105 1 + 0.1 + \frac{0.1^2}{2} = 1 + 0.1 + 0.005 = 1.105 1+0.1+20.12=1+0.1+0.005=1.105

误差约为:

1.105170185 − 1.105 = 0.000170185 1.105170185 - 1.105 = 0.000170185 1.105170185−1.105=0.000170185

已经非常接近了。

再取 (x = 0.5):

真实值:

e 0.5 ≈ 1.648721271 e^{0.5} \approx 1.648721271 e0.5≈1.648721271

二阶近似:

1 + 0.5 + 0.25 2 = 1 + 0.5 + 0.125 = 1.625 1 + 0.5 + \frac{0.25}{2} = 1 + 0.5 + 0.125 = 1.625 1+0.5+20.25=1+0.5+0.125=1.625

误差约为:

1.648721271 − 1.625 = 0.023721271 1.648721271 - 1.625 = 0.023721271 1.648721271−1.625=0.023721271

离 (x_0 = 0) 越远,误差越大,这符合泰勒展开"局部近似"的特点。

相关推荐
jay神5 分钟前
基于深度学习的交通流量预测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机毕业设计
kaixin_啊啊14 分钟前
【零基础学AI】第 25 章——计算机怎样处理文字
人工智能
一知半解仙16 分钟前
乌镇2026:当“智能互联网”第一次被数据照进现实
人工智能·物联网·机器人·开源
泯泷41 分钟前
AI 最坑的失败:不是不会做,而是"假装做完了"
人工智能·llm·agent
Alluxio1 小时前
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐
运维·数据库·人工智能·分布式·缓存·ai·语言模型
johnsong1 小时前
Claude Fable 5.2 登顶:65 分、单发做游戏,和一份 $26.54 一单的账单
人工智能·游戏