当你的网络中可以用6个bn层,你渐渐能看懂人工智能的革命范式!
他就是:何凯明初始化输入数据+数据卷积+batch normal输出
这个范式很伟大,它可以说是人工智能的基石,也可以说是修建房屋(搭建积木网络)的砖瓦!
normal你可以翻译成正态分布或者归一化,其实二者是不同的,这就是语言的弱点,而计算机跑人工智能,正态分布和归一化是区分很清楚的,举个例子:
打谷场扬场,掉下去的谷子,自然堆起来的,几乎就是正态分布的立体结构!
而归一化用的最多的就是,图像像素我们都会除以255,然后给神经网络用!
归一化,意思更宽泛,可以把何凯明初始化,正态分布,图像像素我们都会除以255都叫做归一化!所以写程序,必须区分归一化!
归一化说完了,我们再看上面这个革命范式的对称美!
一般,1,2,3,4,5没有-2,-1,0,1,2对称!我们可以把这两个叫做relu激活函数和tanh激活函数!
我现在网络能用6个bn层,都用的是tanh激活,relu还不行,等待再研究!
就当下我到位的,还是可以掉到这个对称美坑中的!
何凯明初始化,是对称美的!
batch normal,也是对称美的!
而,上面的革命范式,**何凯明初始化输入数据+数据卷积+batch normal输出,**也是对称美的!
那么何凯明初始化输入数据+数据卷积+batch normal输出+激活函数tanh,也是对称美的!
这就是我可以用6个bn的底层逻辑?
那么宇称不守恒是不是就是:何凯明初始化输入数据+数据卷积+batch normal输出+激活函数relu?
真是很有意思,加大马力,继续研究!
你看看残差网络,注意力机制是不是都是在这个革命范式的重复!
新的革命范式一定是斩杀未来的利器!
中国人善于用!
当你搞这些鬼东西,他说你是重复造轮子!
但人生的热情和乐趣是什么?是非经过不知道!纸上得来终觉浅,绝知此事要躬行!
就像小时候玩泥巴!
你看谁都会用pytorch(python),这个东西其实在扼杀我们自身的探索精神!