kaggle-ISIC 2024 - 使用 3D-TBP 检测皮肤癌-学习笔记

问题描述：

通过从 3D 全身照片 (TBP) 中裁剪出单个病变来识别经组织学确诊的皮肤癌病例

数据集描述：

图像+临床文本信息

评价指标：

pAUC，用于保证敏感性高于指定阈值下的AUC

主流方法分析（文本）

基于CatBoost、LGBM 和 XGBoost三者的组合，为每个算法创建了 XX个变体，总共XX个模型，进行集成学习。

CatBoost在传统梯度提升决策树（GBDT）基础上，引入了一系列关键技术创新，以提升处理类别型特征和缺失值的能力，以及整体模型性能，排序学习、目标导向的编码和缺失值处理。

LightGBM基于XGBoost基础上改进，基于Histogram(直方图)的决策树算法，单边梯度采样，互斥特征捆绑等

XGBoost，是基于预排序方法的决策树算法。这种构建决策树的算法基本思想是：首先，对所有特征都按照特征的数值进行预排序。其次，在遍历分割点的时候寻找一个特征上的最好分割点。最后，在找到一个特征的最好分割点后，将数据分裂成左右子节点。

参考超参数

bash 复制代码

lgbm_params = {
    'objective':        'binary',
    'verbosity':        -1,
    'n_estimators':     300,
    'early_stopping_rounds': 50,
    'metric': 'custom',
    'boosting_type':    'gbdt',
    'lambda_l1':        0.08758718919397321, 
    'lambda_l2':        0.0039689175176025465, 
    'learning_rate':    0.03231007103195577, 
    'max_depth':        4, 
    'num_leaves':       128, 
    'colsample_bytree': 0.8329551585827726, 
    'colsample_bynode': 0.4025961355653304, 
    'bagging_fraction': 0.7738954452473223, 
    'bagging_freq':     4, 
    'min_data_in_leaf': 85, 
    'scale_pos_weight': 2.7984184778875543,
    "device": "gpu"
}

bash 复制代码

cb_params = {
    'loss_function':     'Logloss',
    'iterations':        300,
    'early_stopping_rounds': 50,
    'verbose':           False,
    'max_depth':         7, 
    'learning_rate':     0.06936242010150652, 
    'scale_pos_weight':  2.6149345838209532, 
    'l2_leaf_reg':       6.216113851699493,
    'min_data_in_leaf':  24,
    'cat_features':      cat_cols,
    "task_type": "CPU",
}

bash 复制代码

xgb_params = {
    'enable_categorical':       True,
    'tree_method':              'hist',
    'disable_default_eval_metric': 1,
    'n_estimators':             300,
    'early_stopping_rounds':    50,
    'learning_rate':            0.08501257473292347, 
    'lambda':                   8.879624125465703, 
    'alpha':                    0.6779926606782505, 
    'max_depth':                6, 
    'subsample':                0.6012681388711075, 
    'colsample_bytree':         0.8437772277074493, 
    'colsample_bylevel':        0.5476090898823716, 
    'colsample_bynode':         0.9928601203635129, 
    'scale_pos_weight':         3.29440313334688,
    "device":                   "cuda",
}

主流方法分析（图像），深度学习算法提取特征，将图像特征与文本特征一并送入提升树模型

EVA02-small (eva02_small_patch14_336.mim_in22k_ft_in1k) 和EdgeNeXt (edgenext_base.in21k_ft_in1k)
eva02_small，deit3_small，beitv2_base，convnextv2_tiny，swinv2_small, resnext50, convnextv2_nano
swin_tiny，convnextv2_base，convnextv2_large，coatnet_rmlp_1