机器学习:集成学习4(XGBoost前置知识泰勒展开式1)

目录标题

御三家:

XGBoost、LightGBM、CatBoost

泰勒展开二阶氏是啥

二阶泰勒展开式(通常也叫二阶泰勒公式)。它的核心思想是:用一个二次多项式去近似一个函数在某一点附近的值。

一、公式长什么样?

设函数 (f(x)) 在点 (x_0) 处有二阶导数,则 (f(x)) 在 (x_0) 附近的二阶泰勒展开式为:

f ( x ) ≈ f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) + f ′ ′ ( x 0 ) 2 ! ( x − x 0 ) 2 f(x) \approx f(x_0) + f'(x_0)(x - x_0) + \frac{f''(x_0)}{2!}(x - x_0)^2 f(x)≈f(x0)+f′(x0)(x−x0)+2!f′′(x0)(x−x0)2

其中 (2! = 2)。

如果写成带余项的形式:

f ( x ) = f ( x 0 ) + f ′ ( x 0 ) ( x − x 0 ) + f ′ ′ ( x 0 ) 2 ( x − x 0 ) 2 + R 2 ( x ) f(x) = f(x_0) + f'(x_0)(x - x_0) + \frac{f''(x_0)}{2}(x - x_0)^2 + R_2(x) f(x)=f(x0)+f′(x0)(x−x0)+2f′′(x0)(x−x0)2+R2(x)

余项 ( R 2 ( x ) (R_2(x) (R2(x)) 是比 ( ( x − x 0 ) 2 ((x - x_0)^2 ((x−x0)2) 更高阶的无穷小。

二、每一项是什么意思?

项 含义
( f ( x 0 ) (f(x_0) (f(x0)) 函数在 (x_0) 处的值(保证近似曲线过该点)
( f ′ ( x 0 ) ( x − x 0 ) (f'(x_0)(x - x_0) (f′(x0)(x−x0)) 一阶项,保证在该点斜率相同(线性近似)
( f ′ ′ ( x 0 ) 2 ( x − x 0 ) 2 (\frac{f''(x_0)}{2}(x - x_0)^2 (2f′′(x0)(x−x0)2) 二阶项,保证在该点弯曲方向(凹凸性)相同

简单说:

  • 零阶:只对齐函数值
  • 一阶:对齐函数值 + 斜率(切线)
  • 二阶:再对齐弯曲程度(抛物线)

三、举个实际例子:对 ( f ( x ) = e x (f(x) = e^x (f(x)=ex) 在 ( x 0 = 0 (x_0 = 0 (x0=0) 处展开

第1步:求各阶导数

f ( x ) = e x f(x) = e^x f(x)=ex

f ( 0 ) = e 0 = 1 f(0) = e^0 = 1 f(0)=e0=1

f ′ ( x ) = e x ⇒ f ′ ( 0 ) = 1 f'(x) = e^x \Rightarrow f'(0) = 1 f′(x)=ex⇒f′(0)=1

f ′ ′ ( x ) = e x ⇒ f ′ ′ ( 0 ) = 1 f''(x) = e^x \Rightarrow f''(0) = 1 f′′(x)=ex⇒f′′(0)=1

第2步:代入二阶泰勒公式

e x ≈ f ( 0 ) + f ′ ( 0 ) x + f ′ ′ ( 0 ) 2 ! x 2 e^x \approx f(0) + f'(0)x + \frac{f''(0)}{2!}x^2 ex≈f(0)+f′(0)x+2!f′′(0)x2

e x ≈ 1 + 1 ⋅ x + 1 2 x 2 e^x \approx 1 + 1 \cdot x + \frac{1}{2}x^2 ex≈1+1⋅x+21x2

所以:

e x ≈ 1 + x + x 2 2 \boxed{e^x \approx 1 + x + \frac{x^2}{2}} ex≈1+x+2x2

第3步:验证近似效果

取 (x = 0.1):

真实值:

e 0.1 ≈ 1.105170185 e^{0.1} \approx 1.105170185 e0.1≈1.105170185

二阶近似:

1 + 0.1 + 0.1 2 2 = 1 + 0.1 + 0.005 = 1.105 1 + 0.1 + \frac{0.1^2}{2} = 1 + 0.1 + 0.005 = 1.105 1+0.1+20.12=1+0.1+0.005=1.105

误差约为:

1.105170185 − 1.105 = 0.000170185 1.105170185 - 1.105 = 0.000170185 1.105170185−1.105=0.000170185

已经非常接近了。

再取 (x = 0.5):

真实值:

e 0.5 ≈ 1.648721271 e^{0.5} \approx 1.648721271 e0.5≈1.648721271

二阶近似:

1 + 0.5 + 0.25 2 = 1 + 0.5 + 0.125 = 1.625 1 + 0.5 + \frac{0.25}{2} = 1 + 0.5 + 0.125 = 1.625 1+0.5+20.25=1+0.5+0.125=1.625

误差约为:

1.648721271 − 1.625 = 0.023721271 1.648721271 - 1.625 = 0.023721271 1.648721271−1.625=0.023721271

离 (x_0 = 0) 越远,误差越大,这符合泰勒展开"局部近似"的特点。

相关推荐
鬼手点金2 分钟前
构建有效 Agent 的核心原则
java·人工智能·git·学习·自动化
小星星_ios7 分钟前
从 3Blue1Brown 到 NumPy:手写一个神经网络训练 MNIST
人工智能·python·神经网络
老牛日常随笔8 分钟前
Google把Android测试搬进AI对话:ARTEMIS如何用自然语言操作你的手机
android·人工智能·智能手机
信可维9 分钟前
AI 读 Word 表格总读错?先查合并单元格和表头这 3 处
开发语言·人工智能·c#·word·软件工程
Csvn12 分钟前
A/B 实验:85% 比 78% 好,居然不算赢?(R03)
人工智能·aigc·agent
随性而行36016 分钟前
企业微信 API 如何实现业务消息自动通知?接口应用场景解析
java·人工智能·后端·微信·机器人·企业微信
FPGA信号处理19 分钟前
【雷达原理与系统】第四节课:雷达波形与脉冲压缩
人工智能·计算机视觉·目标跟踪
林浩杨_24 分钟前
《CVPR 2026 Highlight|PersonaVLM:让多模态Agent长期记住并理解用户》
人工智能
GlobalInfo28 分钟前
全球及中国Sim-to-Real机器人平台行业研究报告(2026版):市场现状、行业前景与占有率分析
人工智能·ai·机器人
GitCode官方32 分钟前
直播预告:华为云码道实战|Agentic DevOps 与昇腾 CANN 算子 AI 开发
人工智能·华为云·devops·atomgit