在自己手搓cudnn搭建的神经网络中，bn+relu其实效果很差！
但不知为什么网络流行就是bn+relu，bn+relu虐我千百遍，失败！仅能用一次在网络中！我才意识到要用bn+tanh，然后，这个组合多达6次，也成功了！
所以我的直觉就是bn+tanh好！
是不是显卡低级，cuda和cudnn版本低的原因呢？（win10+vs2015 c++）
显卡我用mx550，1060，cuda9.0以及cudnn7.1.4
然后mx550升级为cuda10.2，cudnn7.6也不行！
其实我们潜意识都是随大流，要不自己为什么那么不入流？！
什么时间我才能bn+relu成功呢？别人早都成功了！
虽然网上搜不到解决方案，这方面不知道为啥研究的人这么少！
没有机会抄作业！而pytorch的底层你也看不到！
yolo v3能看到源码，与我没什么两样，为什么它可以，我的不可以，必须bn+tanh？
为什么pytorch这么低的起点（bn+relu）我都 做不到？
说以很无赖！无赖的在deepseek和百度搜一搜（追求一下心里平衡）：bn+tanh比bn+relu好
结果如下：（心里平衡了！可能是tanh比relu更对称！）
唉，人的意识是一样的！
什么时候才能突破bn+relu？（或者leaky relu）