深度学习和机器学习中针对非时间序列的回归任务，有哪些改进角度？
目录
- 深度学习和机器学习中针对非时间序列的回归任务，有哪些改进角度？
- 引言
- [1 数据预处理](#1 数据预处理)
- [2 数据集增强](#2 数据集增强)
- [3 特征选择](#3 特征选择)
- [4 模型选择](#4 模型选择)
- [5 模型正则化与泛化](#5 模型正则化与泛化)
- [6 优化器](#6 优化器)
- [7 学习率](#7 学习率)
- [8 超参数调优](#8 超参数调优)
- [9 性能评估与模型解释](#9 性能评估与模型解释)
引言
在非时间序列的回归任务中，深度学习和机器学习都是常用的方法。为了进一步提升模型的性能，可以通过改进数据处理、数据增强、特征选择、模型选择、模型正则化与泛化、优化器、学习率、超参数调优等方面，来提升模型的性能和可解释性。
1 数据预处理
提高数据质量和进行恰当的数据预处理对提升模型性能至关重要。
- 异常值处理：检测和处理异常值，防止对模型造成影响。
- 数据清洗：纠正在数据中的不一致性和错误。
- 处理不平衡数据：重采样策略，如SMOTE或随机过/欠采样。
- 缺失值处理：填补缺失值或使用模型处理缺失数据。
- 数据规范化：归一化或标准化数据。
- 数据离散化：对连续变量进行分桶操作。
- 特征编码：对类别型特征使用独热编码或标签编码。
- 多尺度特征：创建不同尺度的特征表示形式。
- 特征构造：创建新特征来增强现有数据集。
- 特征交互：考虑特征之间的交互作用。
2 数据集增强
通过生成合成数据或变形现有数据来拓展数据集，使模型能够从更多样的情况中学习。
- 数据扩张：人工生成新样本（基于已知样本特征的数据生成技术）。
- 过采样：复制少数类样本。
- 欠采样：减少多数类样本。
- 加权重采样：依据类的不平衡程度加权样本。
- 生成对抗网络（GAN）：生成新的数据点增强数据集。
- 模拟数据生成：使用已知分布生成新数据点。
- 多样本合成：融合现有数据点生成新样本。
- 自动数据增强：使用算法来自动找到最优的数据增强方式。
- 交叉验证数据扩增：在交叉验证的每个循环中使用不同的数据增强。
- 引入外部数据集：结合其他资源扩展数据集。
3 特征选择
- 相关性分析：采用皮尔逊相关系数、斯皮尔曼等级相关系数等方法筛选与目标变量相关性高的特征。
- 主成分分析（PCA）：减少维度，保留最有信息的特征分量。
- 特征重要性评分：基于树模型（如随机森林、XGBoost）评估特征重要性。
- 递归特征消除（RFE）：递归减少特征集规模，找到最有影响的特征。
- 基于模型的选择：使用L1正则化（Lasso）自动进行特征选择。
- 群体方法（Ensemble methods）：结合多种特征选择方法的结果。
- 互信息和最大信息系数（MIC）：选取与目标变量互信息大的特征。
- 使用过滤方法：例如方差分析（ANOVA），通过统计测试进行特征选择。
- 时间序列特征工程：从日期中提取信息，如月份、星期等。
- 地理空间特征：如果数据包含地理信息，可以提取地理空间特征，如人口密度、流动性模式等。
4 模型选择
- 线性模型：逻辑回归、岭回归等，作为基线模型。
- 决策树：CART、ID3、C4.5作为非线性基准模型。
- 集成方法：随机森林、梯度提升机（GBM）、XGBoost、LightGBM、CatBoost等，提高模型的稳定性和准确性。
- 支持向量机（SVM）：尝试不同的核函数。
- 神经网络：深度学习模型，能够捕获复杂非线性关系。
- K-最近邻（KNN）：调整邻居数量。
- 朴素贝叶斯：对条件独立性假设下的快速模型。
- 实例学习方法：基于实例的学习可以用于捕捉异常点或进行小样本学习。
- 混合模型或堆叠（Stacking）：结合多个不同的模型的预测以提高准确率。
5 模型正则化与泛化
正则化技术可以减少过拟合，提升模型的泛化能力。
- L1/L2正则化：加入惩罚项限制模型复杂度。
- 早停法（Early Stopping）：防止训练过度。
- 丢弃法（Dropout）：神经网络中随机丢弃节点以增加鲁棒性。
- 集成学习：多模型集成平均预测。
- 交叉验证：更可靠地评估模型表现。
- 堆叠通用化（Stacking Generalization）：模型的堆叠组合。
- 引导聚合（Bagging）：减少方差，如随机森林。
- 梯度提升：如GBM、XGBoost，增加模型鲁棒性。
- 噪声鲁棒性：对输入添加噪声以提高鲁棒性。
- 模型蒸馏（Knowledge Distillation）：从复杂模型到简单模型的知识转移。
6 优化器
pytorch手册：https://pytorch.org/docs/stable/optim.html
- 梯度下降（GD）：基础的优化算法。
- 随机梯度下降（SGD）：每次更新只使用一个样本，速度快。
- 批量梯度下降（BGD）：每次更新使用全部样本，稳定性好。
- 动量（Momentum）：加速SGD在相关方向上前进，抑制震荡。
- Adagrad：自适应学习率优化算法。
- RMSprop：解决Adagrad学习率急剧下降问题。
- Adam：结合了RMSprop和Momentum的优点。
- AdaDelta：改进的Adagrad以防止学习率过早下降。
- Nesterov 加速梯度（NAG）：提前调整梯度方向以增加速度。
- AdamW：在Adam的基础上加入权重衰减，提高模型泛化能力。
7 学习率
学习率的调整对模型训练效果影响巨大，以下是一些调整学习率的方法：
- 固定学习率：最基本的策略，全程使用固定学习率。
- 按时间衰减：随着迭代次数增加，学习率逐渐减小。
- 步长衰减：每隔一定的epoch，学习率衰减一次。
- 指数衰减：学习率按指数函数衰减。
- 自适应学习率：根据模型在训练集上的表现来动态调整学习率。
- 余弦退火（Cosine Annealing）：周期性调整学习率的一种策略。
- 线性预热（Warm-up）：先小学习率预热，逐渐增加到正常值。
- 周期性学习率：学习率在较高值和较低值之间周期性变动。
- 学习率范围测试：快速地迭代多个学习率以找到最好的范围。
- 使用学习率查找算法：例如学习率查找器，快速找到适合当前数据集的学习率。
8 超参数调优
通过调整模型超参数来优化模型表现。
- 网格搜索：系统性地遍历多种超参数的组合。
- 随机搜索：在超参数空间中随机搜索。
- 贝叶斯优化：基于贝叶斯模型的优化方法。
- 基于遗传算法的优化：模拟自然选择过程来选择超参数。
- 模拟退火：启发式搜索技术，优化复杂空间中的超参数选择。
- 超参数空间约减：通过预先分析减少搜索空间的范围。
- 自动化机器学习（AutoML）：自动化超参数的选择和模型的训练。
- 超参数重要性分析：分析各个超参数对模型表现的影响大小。
- 进化算法：利用进化策略寻找最佳超参数。
- 零成本代理指标：使用低成本指标来预测较高成本指标的表现。
9 性能评估与模型解释
了解模型在哪些方面表现良好或不足，可以进一步改进模型。
- 混淆矩阵分析：查看模型在不同类别的预测性能。
- ROC曲线与AUC：评估模型的区分能力。
- 精度-召回曲线：了解精度与召回率的权衡关系。
- Brier分数：评估概率预测的准确性。
- 查看模型权重：分析特征权重对结果的影响。
- SHAP值：解释模型的预测以关联特征的重要性。
- 部分依赖图（Partial Dependence Plots）：可视化特征影响。
- 局部可解释模型的敏感性分析（LIME）：解释单个预测结果。
- 累积增益图和提升图：分析营销策略效果。
- 泛化误差分析：分析模型在新数据上的预测性能。