boosting

概率预测之NGBoost（Natural Gradient Boosting）回归和分位数（Quantile Regression）回归概率预测是一种预测方法，它不仅提供一个具体的预测值（如点预测），还提供预测值的概率分布或置信区间。这种方法能够更好地捕捉预测的不确定性，适用于需要了解预测结果可靠性的场景。

精神分裂症患者GAF评分的可视化分析|使用集成学习模型 LightGBM集成学习是机器学习中通过组合多个模型（称为基学习器）的预测结果来提升整体性能的方法。其主要思想是 “集体智慧”，多个简单模型的组合通常比单个模型更强大、更稳健。

Boosting 框架Boosting是利用n个弱学习器串行生成并融合从而减少整体偏差的集成学习框架Boosting算法的三个要素

【集成学习】Boosting算法详解集成学习（Ensemble Learning）是一种通过结合多个模型的预测结果来提高整体预测性能的技术。相比于单个模型，集成学习通过多个基学习器的“集体智慧”来增强模型的泛化能力，通常能够提高模型的稳定性和准确性。

梯度提升决策树（GBDT，Gradient Boosting Decision Tree）梯度提升决策树（GBDT，Gradient Boosting Decision Tree）是一种集成学习方法，它通过将多个弱学习器（通常是决策树）组合成一个强学习器来进行预测。GBDT 是梯度提升（Gradient Boosting）算法的一种实现，在许多机器学习任务中表现出色，尤其是在结构化数据（如表格数据）上的分类和回归任务中。

【干货分享】Boosting算法简单案例Boosting算法是一种集成学习方法，通过逐步迭代训练弱分类器，并通过加权组合它们的预测结果来构建一个强分类器。

梯度提升树（Gradient Boosting Trees）详解✅作者简介：2022年博客新星第八。热爱国学的Java后端开发者，修心和技术同步精进。 🍎个人主页：Java Fans的博客 🍊个人信条：不迁怒，不贰过。小知识，大智慧。 💞当前专栏：机器学习分享专栏 ✨特色专栏：国学周更-心性养成之路 🥭本文内容：梯度提升树（Gradient Boosting Trees）详解

正义的彬彬侠

CatBoost 中对分类特征进行目标变量统计编码公式解析公式 14-2 是 CatBoost 中对分类特征进行目标变量统计编码的一种改进版本，加入了平滑项，用于处理稀疏数据和类别样本不足的情况。下面是对公式的详细解释：

机器学习（七）——集成学习（个体与集成、Boosting、Bagging、随机森林RF、结合策略、多样性增强、多样性度量、Python源码）Bagging和随机森林是并行式集成学习方法，通过从原始训练集中采样产生不同的子集来训练基学习器。为了使基学习器具有明显差异，一种可能的做法是对训练样本进行采样，产生出若干个不同的子集，再从每个数据子集中训练出一个基学习器。但是为了保证基学习器效果不是太差，可以使用相互有交叠的子集。

正义的彬彬侠

XGBoost算法Python代码实现这段代码定义了一个名为 XGBoost 的类，旨在实现 XGBoost 的基础功能，包括梯度提升树的训练和预测。以下是对代码的详细解读：

正义的彬彬侠

《XGBoost算法的原理推导》12-14决策树复杂度的正则化项公式解析本文是将文章《XGBoost算法的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。

正义的彬彬侠

在AdaBoost中，分类错误的样本的权重会增大在AdaBoost中，分类错误的样本的权重会增大，这是AdaBoost的核心机制之一。在每一轮迭代中，AdaBoost会根据当前弱分类器的表现，调整每个样本的权重：

正义的彬彬侠

在AdaBoost中每轮训练后，为什么错误分类的样本权重会增大e^2αt倍在 AdaBoost 的每一轮迭代中，样本 i i i 的权重更新公式为： w t + 1 , i = w t , i ⋅ exp ⁡ ( − α t y i G t ( x i ) ) Z t w_{t+1,i} = \frac{w_{t,i} \cdot \exp(-\alpha_t y_i G_t(x_i))}{Z_t} wt+1,i=Ztwt,i⋅exp(−αtyiGt(xi))

you_are_my_sunshine*

解决方案：梯度提升树（Gradient Boosting Trees）跟GBDT（Gradient Boosting Decision Trees）有什么区别在工作中，在机器学习中，时而会听到梯度提升树（Gradient Boosting Trees）跟GBDT（Gradient Boosting Decision Trees，GBDT），会容易混淆，所以整理一下

python 实现gradient boosting regressor梯度增强回归器算法梯度增强回归器（Gradient Boosting Regressor，简称GBR）是一种集成学习算法，专门用于解决回归问题。它通过组合多个弱学习器（通常是决策树）来构建一个强大的预测模型。以下是关于梯度增强回归器算法的详细解释：

三月七（爱看动漫的程序员）

Enhancing Trust in LLMs: Algorithms for Comparing and Interpreting LLMs增强LLM中的信任:比较和解释LLM的算法论文地址：hhttps://arxiv.org/pdf/2406.01943

集成学习详细介绍以下内容整理于：集成学习(ensemble)：选择一个由一系列假设h1, h2, …, hn构成的集合，通过投票、平均或其他形式的机器学习方法将他们的预测进行组合。我们称单独的假设为基模型(base model)，其组合后的模型称为集成模型(ensemble model)。

【机器学习】Boosting与Bagging算法Boosting与Bagging算法1. Bagging（Bootstrap Aggregating）

记一次使用catboost训练不平衡数据CatBoost 是一种基于梯度提升决策树的机器学习算法，它在处理类别特征方面有独特的优势，并且通常能够提供比其他梯度提升框架更好的性能。下面是一个我最近使用 SMOTE 和 CatBoost 库进行分类任务的基本示例。

Gradient BoostingGradient Boosting，即梯度提升算法，是一种集成学习方法，它通过迭代地训练弱学习器（如决策树）来构建一个强学习器，以提高预测性能。这种方法在回归和分类问题中都有广泛的应用，并且因其强大的性能和灵活性而备受关注。以下是对Gradient Boosting算法的详细解析：一、基本思想 Gradient Boosting算法借鉴了梯度下降法的思想，其基本原理是根据当前模型损失函数的负梯度信息来训练新加入的弱学习器，然后将训练好的弱学习器以累加的形式结合到现有模型中。这一过程可以看作是在函数空间中