( A, B )---6*m*2---( 1, 0 )( 0, 1 )
做一个3层网络分类A和B，让训练集A是3a1，B全为0. 收敛误差为7e-4，收敛199次，让隐藏层节点数为m=20，40，...，1100统计迭代次数n的平均值。
A为
|---|---|
| 1 | 1 |
| 1 | 0 |
得到数据为
|------|------------|---|----------|-----------|
| m | n | | m*n | Δmn |
| 20 | 15049.1005 | | 300982 | |
| 40 | 8481.70352 | | 339268.1 | 38286.131 |
| 60 | 6523.83417 | | 391430.1 | 52161.91 |
| 80 | 5639.59296 | | 451167.4 | 59737.387 |
| 100 | 5123.37186 | | 512337.2 | 61169.749 |
| 120 | 4811.71357 | | 577405.6 | 65068.442 |
| 140 | 4586.76884 | | 642147.6 | 64742.01 |
| 160 | 4421.94472 | | 707511.2 | 65363.518 |
| 180 | 4315.65327 | | 776817.6 | 69306.432 |
| 200 | 4240.77889 | | 848155.8 | 71338.191 |
| 220 | 4179.61307 | | 919514.9 | 71359.095 |
| 240 | 4151.61307 | | 996387.1 | 76872.261 |
| 260 | 4146.36683 | | 1078055 | 81668.241 |
| 280 | 4161.28141 | | 1165159 | 87103.417 |
| 300 | 4249.76382 | | 1274929 | 109770.35 |
| 320 | 4391.59296 | | 1405310 | 130380.6 |
| 340 | 4526.78894 | | 1539108 | 133798.49 |
| 360 | 4563.15075 | | 1642734 | 103626.03 |
| 380 | 4576.59799 | | 1739107 | 96372.965 |
| 400 | 4523.01005 | | 1809204 | 70096.784 |
| 420 | 4451.01005 | | 1869424 | 60220.201 |
| 440 | 4513.0603 | | 1985747 | 116322.31 |
| 460 | 4430.82915 | | 2038181 | 52434.874 |
| 480 | 4395.79397 | | 2109981 | 71799.698 |
| 500 | 4338.14573 | | 2169073 | 59091.759 |
| 520 | 4325.52261 | | 2249272 | 80198.894 |
| 540 | 4233.94472 | | 2286330 | 37058.392 |
| 560 | 4335.77387 | | 2428033 | 141703.22 |
| 580 | 4033.64322 | | 2339513 | -88520.3 |
| 600 | 4154.82915 | | 2492897 | 153384.42 |
| 620 | 4109.58291 | | 2547941 | 55043.92 |
| 640 | 3917.90452 | | 2507459 | -40482.51 |
| 660 | 3616.35678 | | 2386795 | -120663.4 |
| 680 | 3678.48744 | | 2501371 | 114575.98 |
| 700 | 3841.82412 | | 2689277 | 187905.43 |
| 720 | 3771.35176 | | 2715373 | 26096.382 |
| 740 | 3697.70352 | | 2736301 | 20927.337 |
| 760 | 2535.99497 | | 1927356 | -808944.4 |
| 780 | 1940.35678 | | 1513478 | -413877.9 |
| 800 | 1694.28643 | | 1355429 | -158049.1 |
| 820 | 1505 | | 1234100 | -121329.1 |
| 840 | 2064.33668 | | 1734043 | 499942.81 |
| 860 | 282.231156 | | 242718.8 | -1491324 |
| 880 | 277.40201 | | 244113.8 | 1394.9749 |
| 900 | 262.211055 | | 235989.9 | -8123.819 |
| 920 | 253.507538 | | 233226.9 | -2763.015 |
| 940 | 247.512563 | | 232661.8 | -565.1256 |
| 960 | 226.266332 | | 217215.7 | -15446.13 |
| 980 | 205.718593 | | 201604.2 | -15611.46 |
| 1000 | 207.427136 | | 207427.1 | 5822.9146 |
| 1020 | 188.110553 | | 191872.8 | -15554.37 |
| 1040 | 185.834171 | | 193267.5 | 1394.7739 |
| 1060 | 174.246231 | | 184701 | -8566.533 |
| 1080 | 186.633166 | | 201563.8 | 16862.814 |
| 1100 | 181.140704 | | 199254.8 | -2309.045 |
得到迭代次数曲线为
在m=380处有一个峰，在760处有一个台阶，在860处产生第二个台阶
继续从比热的角度理解这一过程
这个过程的比热曲线在580处出现了一个负值并开始剧烈波动，比热的峰值出现在340处，比迭代次数的峰值提前40个。从比热的角度这个网络在m<=340的时候性能是稳定的。
在20-340段系统升高相同的温度需要的能量是大致相等的，更多的迭代次数总是可以期待更高的温度，但超过340以后这个规律变得不再稳定。
|---|---|---|
| 1 | 1 | 0 |
| 0 | 0 | 1 |
第二个例子让A为3a4
|------|---------|---|----------|------------|
| m | n | | m*n | Δmn |
| 20 | 27476.1 | | 549521.5 | |
| 40 | 20190.5 | | 807620.3 | 258098.794 |
| 60 | 17763.7 | | 1065819 | 258198.894 |
| 80 | 16485.2 | | 1318819 | 253000.101 |
| 100 | 15670.7 | | 1567071 | 248251.558 |
| 120 | 15133.1 | | 1815974 | 248903.618 |
| 140 | 14753.3 | | 2065457 | 249482.111 |
| 160 | 14437.3 | | 2309975 | 244518.09 |
| 180 | 14204.9 | | 2556886 | 246910.854 |
| 200 | 14023.3 | | 2804650 | 247764.724 |
| 220 | 13859.3 | | 3049040 | 244389.447 |
| 240 | 13703.3 | | 3288785 | 239745.427 |
| 260 | 13580.5 | | 3530929 | 242144.221 |
| 280 | 13475.1 | | 3773031 | 242101.608 |
| 300 | 13386.6 | | 4015988 | 242957.487 |
| 320 | 13309.8 | | 4259150 | 243161.709 |
| 340 | 13266.4 | | 4510572 | 251421.407 |
| 360 | 13204 | | 4753445 | 242873.869 |
| 380 | 13215.9 | | 5022025 | 268579.196 |
| 400 | 13266 | | 5306394 | 284369.347 |
| 420 | 13333.2 | | 5599953 | 293558.894 |
| 440 | 13439.2 | | 5913253 | 313300 |
| 460 | 13523.3 | | 6220733 | 307479.698 |
| 480 | 13624.7 | | 6539855 | 319122.714 |
| 500 | 13645.2 | | 6822601 | 282745.226 |
| 520 | 13740.4 | | 7144996 | 322395.477 |
| 540 | 13758.1 | | 7429388 | 284391.859 |
| 560 | 13755 | | 7702794 | 273406.533 |
| 580 | 13863.9 | | 8041070 | 338276.08 |
| 600 | 13966.7 | | 8380025 | 338954.673 |
| 620 | 14152 | | 8774212 | 394186.834 |
| 640 | 13998.5 | | 8959019 | 184807.136 |
| 660 | 13781.4 | | 9095719 | 136699.598 |
| 680 | 9842.44 | | 6692857 | -2402861.4 |
| 700 | 8736.33 | | 6115429 | -577428.64 |
| 720 | 8800.4 | | 6336286 | 220857.186 |
| 740 | 8471.06 | | 6268585 | -67701.206 |
| 760 | 9336.98 | | 7096105 | 827520.101 |
| 780 | 8337.76 | | 6503456 | -592648.94 |
| 800 | 8629.79 | | 6903835 | 400379.397 |
| 820 | 9459.47 | | 7756767 | 852932.161 |
| 840 | 9228.03 | | 7751545 | -5222.0101 |
| 860 | 8931.22 | | 7680846 | -70699.497 |
| 880 | 5339.04 | | 4698351 | -2982494.9 |
| 900 | 356.241 | | 320617.1 | -4377733.9 |
| 920 | 329.045 | | 302721.6 | -17895.477 |
| 940 | 318.407 | | 299302.6 | -3418.995 |
| 960 | 293.02 | | 281299.3 | -18003.317 |
| 980 | 274.095 | | 268613.6 | -12685.729 |
| 1000 | 234.256 | | 234256.3 | -34357.286 |
| 1020 | 221.106 | | 225527.6 | -8728.6432 |
| 1040 | 220.905 | | 229740.7 | 4213.06533 |
| 1060 | 219.96 | | 233157.4 | 3416.68342 |
| 1080 | 231.025 | | 249507.1 | 16349.7487 |
| 1100 | 186.975 | | 205672.4 | -43834.774 |
迭代次数曲线
这个曲线的峰值出现在620处，第一台阶出现在680处，第二台阶出现在900处
比热峰值出现在620处，和迭代次数峰值位置重合，在680处比热转负，和第一台阶位置重合。所以对于这个结构比热转负以后网络性能很快变得不再稳定，从这个角度比热峰值是判断网络性能的一个有价值的指标。比热峰值或许就是隐藏层节点数的极大值，
整理两组数据
|-----|------|-----|------|------|-----|-----|-----|
| | 迭代次数 | | | | 比热 | | |
| | 极小值 | 峰 | 第一台阶 | 第二台阶 | 极小值 | 极大值 | 负值 |
| 3a1 | 260 | 380 | 760 | 860 | 40 | 340 | 580 |
| 3a4 | 360 | 620 | 680 | 900 | 240 | 620 | 680 |