### 网格搜索 ###
install.packages("gbm")
set.seed(1234)
library(caret)
library(gbm)
fitControl <- trainControl(method = 'repeatedcv',
number = 10,
repeats = 5)
# 设置网格搜索的参数池
gbmGrid <- expand.grid(interaction.depth = c(3,5,9),
n.trees = (1:20)*5,
shrinkage = 0.1,
n.minobsinnode = 20)
nrow(gbmGrid)
# 训练模型，找出最优参数组合
gbmfit <- train(accept ~ .,data = car,
method = 'gbm',
trControl = fitControl,
tuneGrid = gbmGrid,
metric = 'Accuracy')
gbmfit$bestTune # 查看模型最优的参数组合
plot(gbmfit)
8 0.5290 nan 0.1000 0.0638
9 0.4866 nan 0.1000 0.0668
10 0.4438 nan 0.1000 0.0506
20 0.2592 nan 0.1000 0.0100
40 0.1435 nan 0.1000 -0.0019
60 0.0950 nan 0.1000 -0.0002
80 0.0668 nan 0.1000 -0.0004
100 0.0485 nan 0.1000 -0.0014
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4109
2 1.1518 nan 0.1000 0.2587
3 0.9983 nan 0.1000 0.1844
4 0.8888 nan 0.1000 0.1446
5 0.8016 nan 0.1000 0.1009
6 0.7391 nan 0.1000 0.0897
7 0.6838 nan 0.1000 0.0779
8 0.6363 nan 0.1000 0.0552
9 0.6021 nan 0.1000 0.0429
10 0.5728 nan 0.1000 0.0431
20 0.4161 nan 0.1000 0.0128
40 0.2905 nan 0.1000 0.0043
60 0.2250 nan 0.1000 0.0000
80 0.1868 nan 0.1000 0.0028
100 0.1599 nan 0.1000 -0.0011
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4253
2 1.1400 nan 0.1000 0.2801
3 0.9769 nan 0.1000 0.2071
4 0.8536 nan 0.1000 0.1588
5 0.7568 nan 0.1000 0.1268
6 0.6804 nan 0.1000 0.1021
7 0.6178 nan 0.1000 0.0795
8 0.5680 nan 0.1000 0.0659
9 0.5270 nan 0.1000 0.0532
10 0.4928 nan 0.1000 0.0476
20 0.3168 nan 0.1000 0.0044
40 0.2040 nan 0.1000 0.0014
60 0.1528 nan 0.1000 0.0035
80 0.1202 nan 0.1000 -0.0011
100 0.0962 nan 0.1000 -0.0015
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4417
2 1.1298 nan 0.1000 0.2928
3 0.9571 nan 0.1000 0.2159
4 0.8269 nan 0.1000 0.1657
5 0.7264 nan 0.1000 0.1308
6 0.6474 nan 0.1000 0.1152
7 0.5760 nan 0.1000 0.0854
8 0.5225 nan 0.1000 0.0717
9 0.4757 nan 0.1000 0.0620
10 0.4349 nan 0.1000 0.0467
20 0.2496 nan 0.1000 0.0155
40 0.1395 nan 0.1000 0.0024
60 0.0900 nan 0.1000 0.0002
80 0.0630 nan 0.1000 -0.0012
100 0.0456 nan 0.1000 -0.0007
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4164
2 1.1512 nan 0.1000 0.2760
3 0.9959 nan 0.1000 0.1936
4 0.8834 nan 0.1000 0.1418
5 0.7990 nan 0.1000 0.1119
6 0.7317 nan 0.1000 0.0869
7 0.6786 nan 0.1000 0.0718
8 0.6348 nan 0.1000 0.0533
9 0.5993 nan 0.1000 0.0465
10 0.5704 nan 0.1000 0.0440
20 0.4054 nan 0.1000 0.0152
40 0.2805 nan 0.1000 -0.0001
60 0.2258 nan 0.1000 -0.0002
80 0.1853 nan 0.1000 -0.0010
100 0.1642 nan 0.1000 0.0004
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4327
2 1.1387 nan 0.1000 0.2807
3 0.9689 nan 0.1000 0.2087
4 0.8447 nan 0.1000 0.1510
5 0.7518 nan 0.1000 0.1201
6 0.6790 nan 0.1000 0.0926
7 0.6215 nan 0.1000 0.0816
8 0.5699 nan 0.1000 0.0755
9 0.5238 nan 0.1000 0.0525
10 0.4900 nan 0.1000 0.0476
20 0.3147 nan 0.1000 0.0088
40 0.1975 nan 0.1000 0.0051
60 0.1471 nan 0.1000 0.0007
80 0.1137 nan 0.1000 -0.0017
100 0.0918 nan 0.1000 -0.0004
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4464
2 1.1234 nan 0.1000 0.2828
3 0.9530 nan 0.1000 0.2164
4 0.8232 nan 0.1000 0.1688
5 0.7208 nan 0.1000 0.1231
6 0.6437 nan 0.1000 0.1019
7 0.5806 nan 0.1000 0.0845
8 0.5270 nan 0.1000 0.0625
9 0.4843 nan 0.1000 0.0560
10 0.4474 nan 0.1000 0.0510
20 0.2581 nan 0.1000 0.0138
40 0.1420 nan 0.1000 0.0053
60 0.0905 nan 0.1000 -0.0006
80 0.0628 nan 0.1000 -0.0023
100 0.0462 nan 0.1000 -0.0008
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4124
2 1.1500 nan 0.1000 0.2666
3 0.9955 nan 0.1000 0.1842
4 0.8853 nan 0.1000 0.1485
5 0.7969 nan 0.1000 0.1131
6 0.7292 nan 0.1000 0.0884
7 0.6759 nan 0.1000 0.0667
8 0.6332 nan 0.1000 0.0587
9 0.5957 nan 0.1000 0.0511
10 0.5650 nan 0.1000 0.0394
20 0.4060 nan 0.1000 0.0141
40 0.2817 nan 0.1000 0.0028
60 0.2236 nan 0.1000 0.0009
80 0.1849 nan 0.1000 -0.0016
100 0.1626 nan 0.1000 -0.0007
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4371
2 1.1354 nan 0.1000 0.2872
3 0.9702 nan 0.1000 0.2043
4 0.8451 nan 0.1000 0.1560
5 0.7503 nan 0.1000 0.1172
6 0.6772 nan 0.1000 0.1054
7 0.6124 nan 0.1000 0.0819
8 0.5604 nan 0.1000 0.0661
9 0.5202 nan 0.1000 0.0522
10 0.4849 nan 0.1000 0.0439
20 0.3242 nan 0.1000 0.0134
40 0.2085 nan 0.1000 0.0034
60 0.1533 nan 0.1000 0.0013
80 0.1204 nan 0.1000 -0.0008
100 0.0960 nan 0.1000 0.0000
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4512
2 1.1244 nan 0.1000 0.2989
3 0.9515 nan 0.1000 0.2075
4 0.8231 nan 0.1000 0.1579
5 0.7267 nan 0.1000 0.1329
6 0.6451 nan 0.1000 0.1037
7 0.5791 nan 0.1000 0.0862
8 0.5237 nan 0.1000 0.0685
9 0.4813 nan 0.1000 0.0540
10 0.4468 nan 0.1000 0.0518
20 0.2605 nan 0.1000 0.0124
40 0.1429 nan 0.1000 0.0044
60 0.0948 nan 0.1000 0.0016
80 0.0664 nan 0.1000 -0.0015
100 0.0492 nan 0.1000 -0.0012
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4100
2 1.1522 nan 0.1000 0.2626
3 0.9967 nan 0.1000 0.1860
4 0.8860 nan 0.1000 0.1448
5 0.8010 nan 0.1000 0.1156
6 0.7311 nan 0.1000 0.0900
7 0.6770 nan 0.1000 0.0600
8 0.6358 nan 0.1000 0.0614
9 0.5988 nan 0.1000 0.0485
10 0.5681 nan 0.1000 0.0388
20 0.4105 nan 0.1000 0.0164
40 0.2860 nan 0.1000 0.0075
60 0.2278 nan 0.1000 -0.0006
80 0.1867 nan 0.1000 -0.0004
100 0.1551 nan 0.1000 0.0002
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4171
2 1.1380 nan 0.1000 0.2831
3 0.9722 nan 0.1000 0.2083
4 0.8485 nan 0.1000 0.1522
5 0.7577 nan 0.1000 0.1215
6 0.6810 nan 0.1000 0.0967
7 0.6197 nan 0.1000 0.0789
8 0.5689 nan 0.1000 0.0633
9 0.5282 nan 0.1000 0.0508
10 0.4942 nan 0.1000 0.0498
20 0.3159 nan 0.1000 0.0125
40 0.1978 nan 0.1000 0.0032
60 0.1445 nan 0.1000 -0.0016
80 0.1146 nan 0.1000 -0.0004
100 0.0933 nan 0.1000 -0.0006
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4472
2 1.1258 nan 0.1000 0.2940
3 0.9497 nan 0.1000 0.2109
4 0.8235 nan 0.1000 0.1664
5 0.7233 nan 0.1000 0.1246
6 0.6462 nan 0.1000 0.1130
7 0.5763 nan 0.1000 0.0826
8 0.5238 nan 0.1000 0.0689
9 0.4778 nan 0.1000 0.0611
10 0.4355 nan 0.1000 0.0426
20 0.2623 nan 0.1000 0.0110
40 0.1440 nan 0.1000 0.0056
60 0.0923 nan 0.1000 0.0000
80 0.0644 nan 0.1000 -0.0010
100 0.0473 nan 0.1000 -0.0019
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4137
2 1.1481 nan 0.1000 0.2683
3 0.9911 nan 0.1000 0.1964
4 0.8775 nan 0.1000 0.1435
5 0.7915 nan 0.1000 0.1135
6 0.7226 nan 0.1000 0.0875
7 0.6683 nan 0.1000 0.0746
8 0.6228 nan 0.1000 0.0552
9 0.5870 nan 0.1000 0.0473
10 0.5570 nan 0.1000 0.0363
20 0.4001 nan 0.1000 0.0123
40 0.2783 nan 0.1000 0.0022
60 0.2218 nan 0.1000 0.0010
80 0.1866 nan 0.1000 0.0027
100 0.1582 nan 0.1000 -0.0009
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4295
2 1.1372 nan 0.1000 0.2843
3 0.9703 nan 0.1000 0.2103
4 0.8467 nan 0.1000 0.1573
5 0.7523 nan 0.1000 0.1205
6 0.6777 nan 0.1000 0.1006
7 0.6152 nan 0.1000 0.0865
8 0.5620 nan 0.1000 0.0635
9 0.5201 nan 0.1000 0.0542
10 0.4862 nan 0.1000 0.0361
20 0.3168 nan 0.1000 0.0045
40 0.2021 nan 0.1000 0.0040
60 0.1440 nan 0.1000 -0.0005
80 0.1128 nan 0.1000 -0.0009
100 0.0916 nan 0.1000 -0.0003
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4443
2 1.1245 nan 0.1000 0.2854
3 0.9562 nan 0.1000 0.2182
4 0.8238 nan 0.1000 0.1676
5 0.7224 nan 0.1000 0.1294
6 0.6438 nan 0.1000 0.1015
7 0.5786 nan 0.1000 0.0781
8 0.5270 nan 0.1000 0.0749
9 0.4795 nan 0.1000 0.0549
10 0.4418 nan 0.1000 0.0477
20 0.2519 nan 0.1000 0.0115
40 0.1395 nan 0.1000 0.0013
60 0.0921 nan 0.1000 -0.0011
80 0.0637 nan 0.1000 -0.0010
100 0.0454 nan 0.1000 -0.0002
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4225
2 1.1503 nan 0.1000 0.2736
3 0.9957 nan 0.1000 0.1942
4 0.8815 nan 0.1000 0.1401
5 0.7946 nan 0.1000 0.1119
6 0.7269 nan 0.1000 0.0823
7 0.6754 nan 0.1000 0.0647
8 0.6315 nan 0.1000 0.0600
9 0.5948 nan 0.1000 0.0367
10 0.5666 nan 0.1000 0.0395
20 0.4028 nan 0.1000 0.0120
40 0.2814 nan 0.1000 0.0049
60 0.2206 nan 0.1000 0.0016
80 0.1860 nan 0.1000 0.0000
100 0.1581 nan 0.1000 -0.0001
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4297
2 1.1353 nan 0.1000 0.2747
3 0.9724 nan 0.1000 0.2061
4 0.8485 nan 0.1000 0.1529
5 0.7536 nan 0.1000 0.1201
6 0.6798 nan 0.1000 0.0963
7 0.6195 nan 0.1000 0.0865
8 0.5650 nan 0.1000 0.0667
9 0.5233 nan 0.1000 0.0606
10 0.4847 nan 0.1000 0.0426
20 0.3152 nan 0.1000 0.0131
40 0.2023 nan 0.1000 0.0035
60 0.1525 nan 0.1000 0.0000
80 0.1175 nan 0.1000 -0.0002
100 0.0949 nan 0.1000 -0.0003
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4387
2 1.1285 nan 0.1000 0.3020
3 0.9499 nan 0.1000 0.2166
4 0.8197 nan 0.1000 0.1572
5 0.7244 nan 0.1000 0.1326
6 0.6445 nan 0.1000 0.1071
7 0.5778 nan 0.1000 0.0829
8 0.5240 nan 0.1000 0.0714
9 0.4785 nan 0.1000 0.0574
10 0.4401 nan 0.1000 0.0468
20 0.2610 nan 0.1000 0.0098
40 0.1431 nan 0.1000 0.0014
60 0.0902 nan 0.1000 -0.0000
80 0.0637 nan 0.1000 -0.0002
100 0.0466 nan 0.1000 -0.0007
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4154
2 1.1516 nan 0.1000 0.2520
3 1.0049 nan 0.1000 0.1976
4 0.8869 nan 0.1000 0.1488
5 0.7997 nan 0.1000 0.1182
6 0.7289 nan 0.1000 0.0891
7 0.6756 nan 0.1000 0.0658
8 0.6337 nan 0.1000 0.0592
9 0.5970 nan 0.1000 0.0502
10 0.5648 nan 0.1000 0.0415
20 0.4027 nan 0.1000 0.0097
40 0.2722 nan 0.1000 0.0034
60 0.2167 nan 0.1000 -0.0001
80 0.1792 nan 0.1000 -0.0002
100 0.1576 nan 0.1000 -0.0008
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4329
2 1.1395 nan 0.1000 0.2803
3 0.9743 nan 0.1000 0.2155
4 0.8491 nan 0.1000 0.1599
5 0.7544 nan 0.1000 0.1235
6 0.6797 nan 0.1000 0.1018
7 0.6164 nan 0.1000 0.0693
8 0.5709 nan 0.1000 0.0677
9 0.5285 nan 0.1000 0.0529
10 0.4947 nan 0.1000 0.0418
20 0.3213 nan 0.1000 0.0099
40 0.2009 nan 0.1000 0.0017
60 0.1491 nan 0.1000 0.0010
80 0.1175 nan 0.1000 0.0002
100 0.0919 nan 0.1000 -0.0025
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4600
2 1.1252 nan 0.1000 0.2899
3 0.9528 nan 0.1000 0.2213
4 0.8224 nan 0.1000 0.1631
5 0.7237 nan 0.1000 0.1292
6 0.6448 nan 0.1000 0.1060
7 0.5790 nan 0.1000 0.0888
8 0.5232 nan 0.1000 0.0710
9 0.4768 nan 0.1000 0.0556
10 0.4397 nan 0.1000 0.0538
20 0.2541 nan 0.1000 0.0057
40 0.1314 nan 0.1000 0.0028
60 0.0874 nan 0.1000 -0.0008
80 0.0613 nan 0.1000 -0.0000
100 0.0436 nan 0.1000 -0.0014
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4162
2 1.1499 nan 0.1000 0.2718
3 0.9939 nan 0.1000 0.1958
4 0.8812 nan 0.1000 0.1411
5 0.7978 nan 0.1000 0.1048
6 0.7321 nan 0.1000 0.0899
7 0.6773 nan 0.1000 0.0712
8 0.6331 nan 0.1000 0.0514
9 0.5987 nan 0.1000 0.0406
10 0.5703 nan 0.1000 0.0422
20 0.4055 nan 0.1000 0.0124
40 0.2857 nan 0.1000 0.0031
60 0.2212 nan 0.1000 0.0015
80 0.1835 nan 0.1000 -0.0002
100 0.1537 nan 0.1000 -0.0011
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4398
2 1.1377 nan 0.1000 0.2899
3 0.9701 nan 0.1000 0.2121
4 0.8465 nan 0.1000 0.1525
5 0.7549 nan 0.1000 0.1224
6 0.6789 nan 0.1000 0.0990
7 0.6173 nan 0.1000 0.0829
8 0.5652 nan 0.1000 0.0652
9 0.5236 nan 0.1000 0.0548
10 0.4891 nan 0.1000 0.0455
20 0.3193 nan 0.1000 0.0129
40 0.2046 nan 0.1000 0.0008
60 0.1477 nan 0.1000 0.0006
80 0.1163 nan 0.1000 -0.0012
100 0.0965 nan 0.1000 0.0009
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4493
2 1.1282 nan 0.1000 0.2941
3 0.9533 nan 0.1000 0.2204
4 0.8223 nan 0.1000 0.1694
5 0.7173 nan 0.1000 0.1253
6 0.6402 nan 0.1000 0.0973
7 0.5787 nan 0.1000 0.0810
8 0.5262 nan 0.1000 0.0726
9 0.4812 nan 0.1000 0.0594
10 0.4418 nan 0.1000 0.0546
20 0.2580 nan 0.1000 0.0095
40 0.1393 nan 0.1000 0.0032
60 0.0929 nan 0.1000 -0.0009
80 0.0658 nan 0.1000 -0.0018
100 0.0472 nan 0.1000 0.0001
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4137
2 1.1496 nan 0.1000 0.2753
3 0.9926 nan 0.1000 0.1808
4 0.8832 nan 0.1000 0.1453
5 0.7953 nan 0.1000 0.1092
6 0.7306 nan 0.1000 0.0854
7 0.6782 nan 0.1000 0.0735
8 0.6327 nan 0.1000 0.0560
9 0.5978 nan 0.1000 0.0525
10 0.5661 nan 0.1000 0.0415
20 0.4023 nan 0.1000 0.0083
40 0.2805 nan 0.1000 0.0045
60 0.2190 nan 0.1000 -0.0005
80 0.1856 nan 0.1000 0.0010
100 0.1606 nan 0.1000 0.0004
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4229
2 1.1383 nan 0.1000 0.2716
3 0.9721 nan 0.1000 0.2038
4 0.8500 nan 0.1000 0.1555
5 0.7545 nan 0.1000 0.1252
6 0.6786 nan 0.1000 0.0948
7 0.6170 nan 0.1000 0.0782
8 0.5670 nan 0.1000 0.0634
9 0.5263 nan 0.1000 0.0597
10 0.4887 nan 0.1000 0.0435
20 0.3153 nan 0.1000 0.0039
40 0.2066 nan 0.1000 0.0022
60 0.1519 nan 0.1000 -0.0003
80 0.1183 nan 0.1000 -0.0007
100 0.0924 nan 0.1000 0.0005
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4463
2 1.1275 nan 0.1000 0.2839
3 0.9550 nan 0.1000 0.2155
4 0.8247 nan 0.1000 0.1619
5 0.7256 nan 0.1000 0.1194
6 0.6501 nan 0.1000 0.1015
7 0.5850 nan 0.1000 0.0835
8 0.5314 nan 0.1000 0.0717
9 0.4855 nan 0.1000 0.0563
10 0.4472 nan 0.1000 0.0445
20 0.2478 nan 0.1000 0.0087
40 0.1381 nan 0.1000 0.0021
60 0.0894 nan 0.1000 0.0004
80 0.0635 nan 0.1000 -0.0012
100 0.0477 nan 0.1000 -0.0003
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4125
2 1.1495 nan 0.1000 0.2687
3 0.9951 nan 0.1000 0.1924
4 0.8834 nan 0.1000 0.1400
5 0.7990 nan 0.1000 0.1153
6 0.7319 nan 0.1000 0.0890
7 0.6776 nan 0.1000 0.0712
8 0.6343 nan 0.1000 0.0561
9 0.5980 nan 0.1000 0.0471
10 0.5679 nan 0.1000 0.0443
20 0.4033 nan 0.1000 0.0127
40 0.2744 nan 0.1000 0.0033
60 0.2212 nan 0.1000 0.0018
80 0.1826 nan 0.1000 0.0023
100 0.1562 nan 0.1000 -0.0019
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4252
2 1.1422 nan 0.1000 0.2810
3 0.9757 nan 0.1000 0.2090
4 0.8532 nan 0.1000 0.1512
5 0.7607 nan 0.1000 0.1268
6 0.6843 nan 0.1000 0.0997
7 0.6225 nan 0.1000 0.0806
8 0.5722 nan 0.1000 0.0667
9 0.5279 nan 0.1000 0.0547
10 0.4930 nan 0.1000 0.0438
20 0.3237 nan 0.1000 0.0145
40 0.2076 nan 0.1000 0.0054
60 0.1483 nan 0.1000 -0.0007
80 0.1162 nan 0.1000 -0.0013
100 0.0949 nan 0.1000 0.0003
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4355
2 1.1305 nan 0.1000 0.2983
3 0.9557 nan 0.1000 0.2151
4 0.8257 nan 0.1000 0.1610
5 0.7284 nan 0.1000 0.1264
6 0.6496 nan 0.1000 0.1040
7 0.5856 nan 0.1000 0.0839
8 0.5310 nan 0.1000 0.0662
9 0.4860 nan 0.1000 0.0518
10 0.4499 nan 0.1000 0.0524
20 0.2552 nan 0.1000 0.0084
40 0.1430 nan 0.1000 0.0028
60 0.0944 nan 0.1000 0.0001
80 0.0653 nan 0.1000 0.0011
100 0.0470 nan 0.1000 -0.0014
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4126
2 1.1486 nan 0.1000 0.2670
3 0.9932 nan 0.1000 0.1846
4 0.8791 nan 0.1000 0.1409
5 0.7972 nan 0.1000 0.1098
6 0.7309 nan 0.1000 0.0858
7 0.6792 nan 0.1000 0.0686
8 0.6371 nan 0.1000 0.0565
9 0.5993 nan 0.1000 0.0432
10 0.5687 nan 0.1000 0.0401
20 0.4023 nan 0.1000 0.0091
40 0.2737 nan 0.1000 0.0051
60 0.2191 nan 0.1000 -0.0006
80 0.1810 nan 0.1000 -0.0009
100 0.1563 nan 0.1000 -0.0015
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4279
2 1.1382 nan 0.1000 0.2854
3 0.9717 nan 0.1000 0.2046
4 0.8487 nan 0.1000 0.1560
5 0.7550 nan 0.1000 0.1204
6 0.6801 nan 0.1000 0.1000
7 0.6180 nan 0.1000 0.0818
8 0.5662 nan 0.1000 0.0674
9 0.5253 nan 0.1000 0.0537
10 0.4909 nan 0.1000 0.0452
20 0.3136 nan 0.1000 0.0078
40 0.2043 nan 0.1000 0.0009
60 0.1525 nan 0.1000 0.0013
80 0.1173 nan 0.1000 0.0004
100 0.0934 nan 0.1000 -0.0008
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4430
2 1.1265 nan 0.1000 0.2929
3 0.9516 nan 0.1000 0.2093
4 0.8235 nan 0.1000 0.1662
5 0.7248 nan 0.1000 0.1345
6 0.6449 nan 0.1000 0.1034
7 0.5812 nan 0.1000 0.0856
8 0.5279 nan 0.1000 0.0671
9 0.4832 nan 0.1000 0.0610
10 0.4439 nan 0.1000 0.0624
20 0.2455 nan 0.1000 0.0065
40 0.1339 nan 0.1000 0.0005
60 0.0844 nan 0.1000 -0.0005
80 0.0609 nan 0.1000 0.0008
100 0.0453 nan 0.1000 -0.0006
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4093
2 1.1493 nan 0.1000 0.2713
3 0.9936 nan 0.1000 0.1846
4 0.8808 nan 0.1000 0.1403
5 0.7971 nan 0.1000 0.1132
6 0.7283 nan 0.1000 0.0829
7 0.6764 nan 0.1000 0.0662
8 0.6331 nan 0.1000 0.0607
9 0.5957 nan 0.1000 0.0438
10 0.5668 nan 0.1000 0.0413
20 0.3983 nan 0.1000 0.0113
40 0.2804 nan 0.1000 0.0020
60 0.2216 nan 0.1000 0.0009
80 0.1871 nan 0.1000 0.0002
100 0.1604 nan 0.1000 -0.0001
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4338
2 1.1361 nan 0.1000 0.2827
3 0.9713 nan 0.1000 0.2045
4 0.8487 nan 0.1000 0.1591
5 0.7529 nan 0.1000 0.1204
6 0.6780 nan 0.1000 0.0957
7 0.6182 nan 0.1000 0.0787
8 0.5697 nan 0.1000 0.0658
9 0.5278 nan 0.1000 0.0523
10 0.4938 nan 0.1000 0.0534
20 0.3209 nan 0.1000 0.0137
40 0.2027 nan 0.1000 0.0032
60 0.1494 nan 0.1000 -0.0002
80 0.1200 nan 0.1000 -0.0004
100 0.0949 nan 0.1000 -0.0016
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4506
2 1.1268 nan 0.1000 0.3057
3 0.9510 nan 0.1000 0.2216
4 0.8204 nan 0.1000 0.1606
5 0.7207 nan 0.1000 0.1295
6 0.6400 nan 0.1000 0.1050
7 0.5739 nan 0.1000 0.0928
8 0.5177 nan 0.1000 0.0655
9 0.4746 nan 0.1000 0.0518
10 0.4400 nan 0.1000 0.0428
20 0.2553 nan 0.1000 0.0071
40 0.1389 nan 0.1000 -0.0012
60 0.0881 nan 0.1000 0.0000
80 0.0634 nan 0.1000 -0.0004
100 0.0479 nan 0.1000 -0.0006
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4088
2 1.1472 nan 0.1000 0.2616
3 0.9904 nan 0.1000 0.1926
4 0.8763 nan 0.1000 0.1473
5 0.7904 nan 0.1000 0.1099
6 0.7226 nan 0.1000 0.0853
7 0.6698 nan 0.1000 0.0734
8 0.6258 nan 0.1000 0.0597
9 0.5891 nan 0.1000 0.0431
10 0.5603 nan 0.1000 0.0389
20 0.4000 nan 0.1000 0.0135
40 0.2678 nan 0.1000 0.0022
60 0.2158 nan 0.1000 0.0013
80 0.1788 nan 0.1000 0.0020
100 0.1543 nan 0.1000 -0.0021
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4440
2 1.1348 nan 0.1000 0.2818
3 0.9657 nan 0.1000 0.2105
4 0.8413 nan 0.1000 0.1539
5 0.7495 nan 0.1000 0.1180
6 0.6747 nan 0.1000 0.0943
7 0.6143 nan 0.1000 0.0755
8 0.5636 nan 0.1000 0.0645
9 0.5218 nan 0.1000 0.0547
10 0.4872 nan 0.1000 0.0548
20 0.3117 nan 0.1000 0.0113
40 0.1987 nan 0.1000 -0.0015
60 0.1448 nan 0.1000 0.0007
80 0.1129 nan 0.1000 0.0027
100 0.0907 nan 0.1000 -0.0011
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4509
2 1.1232 nan 0.1000 0.2917
3 0.9486 nan 0.1000 0.2235
4 0.8185 nan 0.1000 0.1666
5 0.7191 nan 0.1000 0.1314
6 0.6358 nan 0.1000 0.1066
7 0.5700 nan 0.1000 0.0798
8 0.5192 nan 0.1000 0.0703
9 0.4757 nan 0.1000 0.0604
10 0.4360 nan 0.1000 0.0462
20 0.2488 nan 0.1000 0.0106
40 0.1396 nan 0.1000 0.0009
60 0.0905 nan 0.1000 0.0003
80 0.0625 nan 0.1000 -0.0008
100 0.0465 nan 0.1000 -0.0008
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4030
2 1.1518 nan 0.1000 0.2713
3 0.9967 nan 0.1000 0.1939
4 0.8825 nan 0.1000 0.1439
5 0.7959 nan 0.1000 0.1098
6 0.7270 nan 0.1000 0.0886
7 0.6735 nan 0.1000 0.0735
8 0.6292 nan 0.1000 0.0581
9 0.5927 nan 0.1000 0.0502
10 0.5615 nan 0.1000 0.0423
20 0.3997 nan 0.1000 0.0080
40 0.2796 nan 0.1000 0.0044
60 0.2238 nan 0.1000 -0.0016
80 0.1865 nan 0.1000 -0.0001
100 0.1581 nan 0.1000 -0.0017
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4342
2 1.1362 nan 0.1000 0.2825
3 0.9676 nan 0.1000 0.2067
4 0.8448 nan 0.1000 0.1602
5 0.7488 nan 0.1000 0.1294
6 0.6722 nan 0.1000 0.0893
7 0.6166 nan 0.1000 0.0809
8 0.5647 nan 0.1000 0.0597
9 0.5247 nan 0.1000 0.0576
10 0.4883 nan 0.1000 0.0422
20 0.3180 nan 0.1000 0.0064
40 0.2036 nan 0.1000 0.0019
60 0.1555 nan 0.1000 0.0002
80 0.1196 nan 0.1000 0.0002
100 0.0957 nan 0.1000 -0.0005
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4371
2 1.1282 nan 0.1000 0.3018
3 0.9507 nan 0.1000 0.2051
4 0.8238 nan 0.1000 0.1593
5 0.7252 nan 0.1000 0.1298
6 0.6451 nan 0.1000 0.1080
7 0.5789 nan 0.1000 0.0872
8 0.5224 nan 0.1000 0.0774
9 0.4735 nan 0.1000 0.0576
10 0.4358 nan 0.1000 0.0456
20 0.2526 nan 0.1000 0.0072
40 0.1415 nan 0.1000 0.0018
60 0.0909 nan 0.1000 -0.0004
80 0.0630 nan 0.1000 -0.0011
100 0.0454 nan 0.1000 -0.0013
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.3987
2 1.1512 nan 0.1000 0.2707
3 0.9951 nan 0.1000 0.1913
4 0.8823 nan 0.1000 0.1390
5 0.7970 nan 0.1000 0.1067
6 0.7332 nan 0.1000 0.0908
7 0.6764 nan 0.1000 0.0740
8 0.6316 nan 0.1000 0.0596
9 0.5948 nan 0.1000 0.0410
10 0.5683 nan 0.1000 0.0367
20 0.4100 nan 0.1000 0.0117
40 0.2910 nan 0.1000 0.0009
60 0.2319 nan 0.1000 0.0014
80 0.1919 nan 0.1000 0.0004
100 0.1656 nan 0.1000 -0.0000
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4267
2 1.1356 nan 0.1000 0.2792
3 0.9699 nan 0.1000 0.2023
4 0.8475 nan 0.1000 0.1476
5 0.7552 nan 0.1000 0.1165
6 0.6841 nan 0.1000 0.0971
7 0.6224 nan 0.1000 0.0759
8 0.5742 nan 0.1000 0.0648
9 0.5313 nan 0.1000 0.0539
10 0.4962 nan 0.1000 0.0428
20 0.3250 nan 0.1000 0.0123
40 0.2088 nan 0.1000 0.0034
60 0.1507 nan 0.1000 0.0011
80 0.1204 nan 0.1000 0.0014
100 0.0948 nan 0.1000 -0.0002
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4422
2 1.1288 nan 0.1000 0.2862
3 0.9553 nan 0.1000 0.2148
4 0.8265 nan 0.1000 0.1653
5 0.7222 nan 0.1000 0.1313
6 0.6414 nan 0.1000 0.1037
7 0.5770 nan 0.1000 0.0875
8 0.5217 nan 0.1000 0.0681
9 0.4774 nan 0.1000 0.0572
10 0.4406 nan 0.1000 0.0457
20 0.2594 nan 0.1000 0.0157
40 0.1421 nan 0.1000 0.0014
60 0.0921 nan 0.1000 -0.0009
80 0.0644 nan 0.1000 0.0002
100 0.0461 nan 0.1000 0.0001
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4119
2 1.1510 nan 0.1000 0.2670
3 0.9954 nan 0.1000 0.1916
4 0.8821 nan 0.1000 0.1377
5 0.7976 nan 0.1000 0.1087
6 0.7312 nan 0.1000 0.0892
7 0.6754 nan 0.1000 0.0742
8 0.6307 nan 0.1000 0.0553
9 0.5949 nan 0.1000 0.0467
10 0.5654 nan 0.1000 0.0387
20 0.4039 nan 0.1000 0.0137
40 0.2810 nan 0.1000 0.0033
60 0.2190 nan 0.1000 0.0019
80 0.1830 nan 0.1000 -0.0004
100 0.1558 nan 0.1000 -0.0012
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4348
2 1.1379 nan 0.1000 0.2891
3 0.9692 nan 0.1000 0.2030
4 0.8465 nan 0.1000 0.1573
5 0.7521 nan 0.1000 0.1191
6 0.6792 nan 0.1000 0.0984
7 0.6183 nan 0.1000 0.0784
8 0.5687 nan 0.1000 0.0660
9 0.5265 nan 0.1000 0.0583
10 0.4907 nan 0.1000 0.0413
20 0.3246 nan 0.1000 0.0061
40 0.2094 nan 0.1000 0.0009
60 0.1544 nan 0.1000 -0.0000
80 0.1202 nan 0.1000 -0.0012
100 0.0961 nan 0.1000 -0.0020
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4483
2 1.1263 nan 0.1000 0.2934
3 0.9525 nan 0.1000 0.2214
4 0.8202 nan 0.1000 0.1660
5 0.7191 nan 0.1000 0.1288
6 0.6398 nan 0.1000 0.1052
7 0.5745 nan 0.1000 0.0856
8 0.5210 nan 0.1000 0.0693
9 0.4764 nan 0.1000 0.0603
10 0.4377 nan 0.1000 0.0445
20 0.2541 nan 0.1000 0.0101
40 0.1354 nan 0.1000 0.0001
60 0.0862 nan 0.1000 0.0005
80 0.0606 nan 0.1000 0.0012
100 0.0433 nan 0.1000 -0.0015
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4122
2 1.1522 nan 0.1000 0.2684
3 0.9955 nan 0.1000 0.1855
4 0.8862 nan 0.1000 0.1446
5 0.7984 nan 0.1000 0.1111
6 0.7312 nan 0.1000 0.0895
7 0.6769 nan 0.1000 0.0657
8 0.6346 nan 0.1000 0.0557
9 0.5989 nan 0.1000 0.0511
10 0.5668 nan 0.1000 0.0434
20 0.3981 nan 0.1000 0.0084
40 0.2826 nan 0.1000 0.0040
60 0.2204 nan 0.1000 -0.0010
80 0.1822 nan 0.1000 -0.0004
100 0.1573 nan 0.1000 -0.0011
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4344
2 1.1392 nan 0.1000 0.2831
3 0.9725 nan 0.1000 0.2068
4 0.8473 nan 0.1000 0.1595
5 0.7536 nan 0.1000 0.1244
6 0.6776 nan 0.1000 0.1013
7 0.6157 nan 0.1000 0.0795
8 0.5668 nan 0.1000 0.0607
9 0.5268 nan 0.1000 0.0534
10 0.4925 nan 0.1000 0.0523
20 0.3105 nan 0.1000 0.0121
40 0.2029 nan 0.1000 0.0039
60 0.1466 nan 0.1000 0.0001
80 0.1149 nan 0.1000 0.0005
100 0.0928 nan 0.1000 -0.0007
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4604
2 1.1261 nan 0.1000 0.2911
3 0.9521 nan 0.1000 0.2156
4 0.8243 nan 0.1000 0.1566
5 0.7290 nan 0.1000 0.1237
6 0.6521 nan 0.1000 0.1107
7 0.5837 nan 0.1000 0.0849
8 0.5290 nan 0.1000 0.0716
9 0.4837 nan 0.1000 0.0684
10 0.4394 nan 0.1000 0.0490
20 0.2450 nan 0.1000 0.0067
40 0.1381 nan 0.1000 0.0007
60 0.0867 nan 0.1000 -0.0018
80 0.0596 nan 0.1000 0.0005
100 0.0436 nan 0.1000 -0.0020
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4061
2 1.1491 nan 0.1000 0.2738
3 0.9930 nan 0.1000 0.1978
4 0.8792 nan 0.1000 0.1429
5 0.7938 nan 0.1000 0.1140
6 0.7258 nan 0.1000 0.0862
7 0.6732 nan 0.1000 0.0663
8 0.6312 nan 0.1000 0.0598
9 0.5928 nan 0.1000 0.0523
10 0.5595 nan 0.1000 0.0414
20 0.4005 nan 0.1000 0.0178
40 0.2768 nan 0.1000 0.0020
60 0.2183 nan 0.1000 -0.0001
80 0.1827 nan 0.1000 -0.0009
100 0.1564 nan 0.1000 -0.0029
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4276
2 1.1368 nan 0.1000 0.2933
3 0.9677 nan 0.1000 0.2075
4 0.8438 nan 0.1000 0.1571
5 0.7482 nan 0.1000 0.1238
6 0.6727 nan 0.1000 0.1039
7 0.6102 nan 0.1000 0.0825
8 0.5603 nan 0.1000 0.0641
9 0.5190 nan 0.1000 0.0549
10 0.4842 nan 0.1000 0.0404
20 0.3110 nan 0.1000 0.0106
40 0.2009 nan 0.1000 0.0011
60 0.1531 nan 0.1000 -0.0007
80 0.1207 nan 0.1000 -0.0013
100 0.0956 nan 0.1000 0.0021
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4467
2 1.1244 nan 0.1000 0.2988
3 0.9453 nan 0.1000 0.2151
4 0.8154 nan 0.1000 0.1517
5 0.7198 nan 0.1000 0.1300
6 0.6422 nan 0.1000 0.1055
7 0.5760 nan 0.1000 0.0780
8 0.5253 nan 0.1000 0.0722
9 0.4785 nan 0.1000 0.0545
10 0.4406 nan 0.1000 0.0478
20 0.2475 nan 0.1000 0.0094
40 0.1356 nan 0.1000 0.0012
60 0.0888 nan 0.1000 -0.0009
80 0.0620 nan 0.1000 0.0000
100 0.0448 nan 0.1000 -0.0017
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4166
2 1.1515 nan 0.1000 0.2648
3 0.9975 nan 0.1000 0.1892
4 0.8853 nan 0.1000 0.1436
5 0.7994 nan 0.1000 0.1133
6 0.7321 nan 0.1000 0.0903
7 0.6784 nan 0.1000 0.0703
8 0.6354 nan 0.1000 0.0583
9 0.5995 nan 0.1000 0.0512
10 0.5679 nan 0.1000 0.0408
20 0.4041 nan 0.1000 0.0092
40 0.2842 nan 0.1000 -0.0002
60 0.2235 nan 0.1000 -0.0015
80 0.1879 nan 0.1000 -0.0002
100 0.1594 nan 0.1000 -0.0014
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4232
2 1.1381 nan 0.1000 0.2803
3 0.9736 nan 0.1000 0.2120
4 0.8458 nan 0.1000 0.1560
5 0.7513 nan 0.1000 0.1190
6 0.6755 nan 0.1000 0.0991
7 0.6145 nan 0.1000 0.0750
8 0.5663 nan 0.1000 0.0657
9 0.5244 nan 0.1000 0.0484
10 0.4919 nan 0.1000 0.0504
20 0.3208 nan 0.1000 0.0195
40 0.2022 nan 0.1000 0.0038
60 0.1486 nan 0.1000 -0.0002
80 0.1180 nan 0.1000 -0.0001
100 0.0955 nan 0.1000 -0.0009
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4492
2 1.1239 nan 0.1000 0.2952
3 0.9485 nan 0.1000 0.2165
4 0.8208 nan 0.1000 0.1578
5 0.7236 nan 0.1000 0.1287
6 0.6445 nan 0.1000 0.0987
7 0.5823 nan 0.1000 0.0847
8 0.5287 nan 0.1000 0.0806
9 0.4789 nan 0.1000 0.0543
10 0.4434 nan 0.1000 0.0498
20 0.2586 nan 0.1000 0.0169
40 0.1439 nan 0.1000 0.0025
60 0.0915 nan 0.1000 0.0003
80 0.0641 nan 0.1000 -0.0010
100 0.0464 nan 0.1000 -0.0012
Iter TrainDeviance ValidDeviance StepSize Improve
1 1.3863 nan 0.1000 0.4322
2 1.1259 nan 0.1000 0.2945
3 0.9524 nan 0.1000 0.2101
4 0.8245 nan 0.1000 0.1685
5 0.7252 nan 0.1000 0.1268
6 0.6462 nan 0.1000 0.1065
7 0.5806 nan 0.1000 0.0847
8 0.5266 nan 0.1000 0.0788
9 0.4765 nan 0.1000 0.0571
10 0.4390 nan 0.1000 0.0602
20 0.2500 nan 0.1000 0.0137
40 0.1304 nan 0.1000 0.0018
60 0.0851 nan 0.1000 0.0009
80 0.0570 nan 0.1000 -0.0006
100 0.0409 nan 0.1000 -0.0007