cudnn微积分

工业机器视觉设计和实现

cudnn训练cifar100（摸到pytorch尾灯，54.94分）前头用这个架构：上了47分layers.emplace_back(std::make_shared<Conv2D>(cudnn, batch, 5, 64, 32, 32, 3, 1, 1)); layers.emplace_back(std::make_shared<residualExt22>(cudnn, batch, 64, 32, 32)); layers.emplace_back(std::make_shared<Conv2D>(cudnn, batch, 64, 128, 32, 32, 3

工业机器视觉设计和实现

再攻下1分！在80分基础上，想起自己的第一个pytorch程序训练cifar10，残差中用了两个3*3的卷积核，所以把darknet的先降后升的两个卷积核替换！

工业机器视觉设计和实现

cifar10训练突破80分（三，摸到pytorch尾灯！）昨天，终于迎来转折点，可喜可贺！突然想起当年写机器视觉软件追赶visionpro的感觉！（一点一点的突破）

工业机器视觉设计和实现

动量的好处与困扰（二，摸到pytorch尾灯！）使用卷积层权重和bias的动量参与！就这一句话：scal_cpu << <(w_size + 255) / 256, 256 >> > (w_size, 0.98, _grad_weight, 1);

工业机器视觉设计和实现

cifar10测试79分是什么水平记录一下来自网络的回答：（说的很中肯）CIFAR-10 测试集准确率‌79% 属于入门进阶水平‌：已脱离随机猜测和基础模型瓶颈，但距离现代标准（90%+）及 SOTA（98%+）仍有明显差距。‌‌

工业机器视觉设计和实现

yolo darknet的启示（残差相加放在leakrelu之后）之前的训练cifar10的lenet网络架构：修改后的网络架构：看到没？残差后的relu被我注释掉了！

工业机器视觉设计和实现

为什么bn+tanh比bn+relu效果好？在自己手搓cudnn搭建的神经网络中，bn+relu其实效果很差！但不知为什么网络流行就是bn+relu，bn+relu虐我千百遍，失败！仅能用一次在网络中！我才意识到要用bn+tanh，然后，这个组合多达6次，也成功了！

工业机器视觉设计和实现

人工智能的革命范式（对称美）当你的网络中可以用6个bn层，你渐渐能看懂人工智能的革命范式！他就是：何凯明初始化输入数据+数据卷积+batch normal输出

我是有底线的