cudnn微积分

工业机器视觉设计和实现14 天前
人工智能·cudnn微积分
再攻下1分!在80分基础上,想起自己的第一个pytorch程序训练cifar10,残差中用了两个3*3的卷积核,所以把darknet的先降后升的两个卷积核替换!
工业机器视觉设计和实现16 天前
人工智能·pytorch·cudnn微积分
cifar10训练突破80分(三,摸到pytorch尾灯!)昨天,终于迎来转折点,可喜可贺!突然想起当年写机器视觉软件追赶visionpro的感觉!(一点一点的突破)
工业机器视觉设计和实现18 天前
人工智能·pytorch·cudnn微积分
动量的好处与困扰(二,摸到pytorch尾灯!)使用卷积层权重和bias的动量参与!就这一句话:scal_cpu << <(w_size + 255) / 256, 256 >> > (w_size, 0.98, _grad_weight, 1);
工业机器视觉设计和实现20 天前
cudnn微积分
cifar10测试79分是什么水平记录一下来自网络的回答:(说的很中肯)CIFAR-10 测试集准确率‌79% 属于入门进阶水平‌:已脱离随机猜测和基础模型瓶颈,但距离现代标准(90%+)及 SOTA(98%+)仍有明显差距 。‌‌
工业机器视觉设计和实现1 个月前
cudnn微积分
yolo darknet的启示(残差相加放在leakrelu之后)之前的训练cifar10的lenet网络架构:修改后的网络架构:看到没?残差后的relu被我注释掉了!
工业机器视觉设计和实现5 个月前
人工智能·cudnn微积分
为什么bn+tanh比bn+relu效果好?在自己手搓cudnn搭建的神经网络中,bn+relu其实效果很差!但不知为什么网络流行就是bn+relu,bn+relu虐我千百遍,失败!仅能用一次在网络中!我才意识到要用bn+tanh,然后,这个组合多达6次,也成功了!
工业机器视觉设计和实现5 个月前
人工智能·cudnn微积分
人工智能的革命范式(对称美)当你的网络中可以用6个bn层,你渐渐能看懂人工智能的革命范式!他就是:何凯明初始化输入数据+数据卷积+batch normal输出
我是有底线的