cudnn微积分

工业机器视觉设计和实现

虚实结合的残差块突破83分（c++cudnn版本resnet18更进一步）这是今天最好成绩，很开心，上网买条春秋穿的裤子奖励自己！看架构：（训练cifar10，83.10版本）

工业机器视觉设计和实现

c++ cudnn模仿resnet18训练cifar10（冲击80分,成功）前版，实线卷积核使用1*1和3*3，三次虚线残差,dropout=0.3，得分79.35！试了一上午，去掉标签平滑，勉强得了一个80.01分！均值和方差不好看！

工业机器视觉设计和实现

实现pytorch resnet18功能（五，总结，顺便实现yolov3 shortcut残差）其实我前面四篇实现了三种残差：1，out +=x，out =relu（out）2，out =relu（out），out +=x

工业机器视觉设计和实现

c++ cudnn模仿resnet18训练cifar10（70分）使用自己的实线残差，yolo v3改造的虚线残差，模仿resnet18，上了70分，有点小成绩了！架构如下：

工业机器视觉设计和实现

实现pytorch resnet18功能（四，c++ cudnn）使用虚线的残差块类：（yolo v3版本，一次成功！）封装如下：__global__ void shortcut_kernel(int size, int minw, int minh, int minc, int stride, int sample, int batch, int w1, int h1, int c1, float* add, int w2, int h2, int c2, float* out) { int id = (blockIdx.x + blockIdx.y * gridDi

工业机器视觉设计和实现

训练cifar100的临界点到来！（59.94分到来！）郁闷！又遇到这种事情！要趟过去，还得下功夫！架构改来改去，又折腾回来！layers.emplace_back(std::make_shared<Conv2D>(cudnn, batch, 5, 32, 32, 32, 3, 1, 1)); layers.emplace_back(std::make_shared<residualExt22>(cudnn, batch, 32, 32, 32));

工业机器视觉设计和实现

cudnn训练cifar100（摸到pytorch尾灯，54.94分）前头用这个架构：上了47分layers.emplace_back(std::make_shared<Conv2D>(cudnn, batch, 5, 64, 32, 32, 3, 1, 1)); layers.emplace_back(std::make_shared<residualExt22>(cudnn, batch, 64, 32, 32)); layers.emplace_back(std::make_shared<Conv2D>(cudnn, batch, 64, 128, 32, 32, 3

工业机器视觉设计和实现

再攻下1分！在80分基础上，想起自己的第一个pytorch程序训练cifar10，残差中用了两个3*3的卷积核，所以把darknet的先降后升的两个卷积核替换！

工业机器视觉设计和实现

cifar10训练突破80分（三，摸到pytorch尾灯！）昨天，终于迎来转折点，可喜可贺！突然想起当年写机器视觉软件追赶visionpro的感觉！（一点一点的突破）

工业机器视觉设计和实现

动量的好处与困扰（二，摸到pytorch尾灯！）使用卷积层权重和bias的动量参与！就这一句话：scal_cpu << <(w_size + 255) / 256, 256 >> > (w_size, 0.98, _grad_weight, 1);

工业机器视觉设计和实现

cifar10测试79分是什么水平记录一下来自网络的回答：（说的很中肯）CIFAR-10 测试集准确率‌79% 属于入门进阶水平‌：已脱离随机猜测和基础模型瓶颈，但距离现代标准（90%+）及 SOTA（98%+）仍有明显差距。‌‌

工业机器视觉设计和实现

yolo darknet的启示（残差相加放在leakrelu之后）之前的训练cifar10的lenet网络架构：修改后的网络架构：看到没？残差后的relu被我注释掉了！

工业机器视觉设计和实现

为什么bn+tanh比bn+relu效果好？在自己手搓cudnn搭建的神经网络中，bn+relu其实效果很差！但不知为什么网络流行就是bn+relu，bn+relu虐我千百遍，失败！仅能用一次在网络中！我才意识到要用bn+tanh，然后，这个组合多达6次，也成功了！

工业机器视觉设计和实现

人工智能的革命范式（对称美）当你的网络中可以用6个bn层，你渐渐能看懂人工智能的革命范式！他就是：何凯明初始化输入数据+数据卷积+batch normal输出

我是有底线的