回归树（Regression Tree）是决策树（Decision Tree）的一种，用于解决回归问题，即预测一个连续值的输出，而不是进行分类。与分类树（用于预测离散标签）相比，回归树的目标是预测出一个具体的数值。
回归树的工作原理与分类树类似，但在决策节点处使用的是数值型数据，而非类别数据。在构建树的过程中，它会根据输入特征对数据集进行分割，使得每个分割（或叶节点）中的数据具有相似的响应变量值。具体来说，它会选择最佳分割点，以最大化不同分割间的方差减少（或其他类似的度量标准），从而使得每个叶节点上的目标变量尽可能地接近。
回归树的关键特点包括：
- 节点分割：回归树通过连续特征的值来分割数据，选择分割点是为了最小化每个子节点内部的总方差或平均方差，这有助于提高模型的预测精度。
- 叶节点预测值：在回归树中，每个叶节点的预测值通常是该节点所有训练样本目标值的平均值。因此，当有新的数据点通过树进行预测时，它会落在特定的叶节点上，该节点的平均值就是对该数据点的预测值。
- 处理连续和分类变量：虽然回归树主要用于预测连续值，但它们也可以处理分类输入特征，通过将分类特征转换为二元变量来实现。
应用场景
回归树广泛应用于各种领域，包括但不限于金融市场分析（如股票价格预测）、医疗（如疾病风险评估）、房地产（如房价估计）等。它们特别适合处理具有高维特征空间的数据集，并且在处理非线性关系方面也表现出色。
优缺点
- 优点：直观易懂，可以处理非线性关系，不需要对数据进行严格的假设，如正态分布等。
- 缺点：容易过拟合，对异常值敏感，预测结果的连续性不如其他回归方法。
在实践中，为了克服单一回归树的一些局限性，常常将多个回归树集成在一起，形成随机森林（Random Forest）或梯度提升树（Gradient Boosted Trees）等更强大的模型。