搜广推校招面经七十

美团暑期推荐实习

一、讲一下self-attention,qkv的含义。

见【搜广推校招面经五

二、讲一下协同过滤召回,新闻推荐项目为什么不用usercf?

见【搜广推校招号面经六十四

三、介绍信息增益公式(Information Gain)

见【搜广推校招面经六十二

信息增益是一种用于特征选择的指标,广泛应用于构建决策树(如 ID3 算法)。它衡量的是某个特征 A 在对数据集 D 进行划分后,信息不确定性的减少量 。信息增益的计算依赖两个核心概念:熵 和 条件熵。

3.1. 熵(Entropy)

熵表示系统的不确定性程度:
H ( D ) = − ∑ i = 1 k p i log ⁡ 2 p i H(D) = -\sum_{i=1}^{k} p_i \log_2 p_i H(D)=−i=1∑kpilog2pi

  • D:当前样本集
  • k:类别个数
  • p i p_i pi:属于第 i i i 类的样本所占比例

3.2. 条件熵(Conditional Entropy)

条件熵表示在特征 A 的条件下,样本集 D 的期望信息熵:
H ( D ∣ A ) = ∑ j = 1 k ∣ D j ∣ ∣ D ∣ H ( D j ) H(D | A) = \sum_{j=1}^{k} \frac{|D_j|}{|D|} H(D_j) H(D∣A)=j=1∑k∣D∣∣Dj∣H(Dj)

3.3. 信息增益公式

信息增益定义为特征 A 在划分数据集 D 后,信息熵的减少量:
G a i n ( D , A ) = H ( D ) − H ( D ∣ A ) Gain(D,A)=H(D)−H(D∣A) Gain(D,A)=H(D)−H(D∣A)

四、决策树停止分裂的条件

树模型在训练过程中,通过不断分裂节点来划分数据集,但为了防止过拟合和提高泛化能力,决策树在构建过程中需设置停止条件。下面是常见的方法:

4.1. 节点纯度足够高

  • 若某个节点中样本基本属于同一类(例如熵小于设定阈值 ε),则停止分裂。

4.2. 样本数量过少

  • 若当前节点包含的样本数 < min_samples_split 或 min_samples_leaf,则不再划分。

4.3. 信息增益太小

  • 如果当前最优划分特征的信息增益 < min_gain_threshold,说明划分效果不明显,停止。

4.4. 树达到最大深度

  • 若当前树的深度 >= max_depth,则不再向下扩展子节点。

4.5. 特征耗尽

  • 所有特征均已被用尽,无法再进一步划分。

五、XGBoost的正则项

XGBoost的正则化项用于控制模型的复杂度,防止过拟合。它包含了两部分:L1正则化 (Lasso)和L2正则化(Ridge)。XGBoost通过控制这两个正则化项的参数来实现正则化。

5.1. L1正则化(Lasso Regularization)

L1正则化通过增加特征系数的绝对值之和来惩罚模型。它能够实现特征选择,促使一些特征系数变为零。

  • 参数 : alpha
  • 作用 : 控制L1正则化的强度,增大alpha值会增加L1正则化的效果,从而使得模型更为稀疏。

5.2. L2正则化(Ridge Regularization)

L2正则化通过增加特征系数的平方和来惩罚模型。它帮助防止过拟合并能够降低模型的复杂度。

  • 参数 : lambda(也称为reg_lambda
  • 作用 : 控制L2正则化的强度,增大lambda值会增加L2正则化的效果,从而使得模型的特征权重更小,避免过拟合。

5.3. 总的正则化目标

XGBoost的目标函数包括了损失函数和正则化项,公式如下:
L ( θ ) = ∑ i = 1 N ℓ ( y i , y ^ i ) + ∑ k = 1 K Ω ( f k ) L(\theta) = \sum_{i=1}^{N} \ell(y_i, \hat{y}i) + \sum{k=1}^{K} \Omega(f_k) L(θ)=i=1∑Nℓ(yi,y^i)+k=1∑KΩ(fk)

其中, ℓ ( y i , y ^ i ) \ell(y_i, \hat{y}_i) ℓ(yi,y^i)是损失函数, Ω ( f k ) \Omega(f_k) Ω(fk)是正则化项,具体为:

Ω ( f k ) = γ T + 1 2 λ ∑ j = 1 T w j 2 \Omega(f_k) = \gamma T + \frac{1}{2} \lambda \sum_{j=1}^{T} w_j^2 Ω(fk)=γT+21λj=1∑Twj2

  • T:树的叶子数
  • w j w_j wj:每个叶子的权重
  • γ \gamma γ:每增加一个叶子时的惩罚项(树的复杂度控制)
  • λ \lambda λ:L2正则化的参数

通过调整alphalambda,可以有效控制模型的复杂度,避免过拟合。

相关推荐
老坛程序员15 小时前
抓包解析MCP协议:基于JSON-RPC的MCP host与MCP server的交互
人工智能·网络协议·rpc·json·交互
努力毕业的小土博^_^15 小时前
【深度学习|学习笔记】详细讲解一下 深度学习训练过程中 为什么 Momentum 可以加速训练?
人工智能·笔记·深度学习·学习·momentum
飞哥数智坊15 小时前
DeepSeek 节前突袭发布 V3.2-Exp:长文本推理成本直降75%!
人工智能·deepseek
清风吹过15 小时前
少样本学习论文分享:多模态和类增量学习
论文阅读·人工智能·深度学习·学习·机器学习
居然JuRan16 小时前
抽丝剥茧的Transformer详解
人工智能
计算机小手16 小时前
AI截图解答工具,可自定义设置多模态模型和提示词
人工智能·经验分享·开源软件
资讯全球17 小时前
2025年用户体验佳的大型企业报销系统
人工智能·百度·ux
java1234_小锋17 小时前
Scikit-learn Python机器学习 - 聚类分析算法 - K-Means(K均值)
机器学习·scikit-learn·k-means·k均值
海底的星星fly17 小时前
【Prompt学习技能树地图】单一思维链优化-自我一致性提示工程原理、实践与代码实现
人工智能·语言模型·prompt
无妄无望18 小时前
解码器系列(1)BERT
人工智能·深度学习·bert