卷积网络的发展历史-LeNet

简介

LeNet是CNN结构的开山鼻祖,第一次定义了卷积神经网络的结构。

LeNet模型包含了多个卷积层和池化层,以及最后的全连接层用于分类。其中,每个卷积层都包含了一个卷积操作和一个非线性激活函数,用于提取输入图像的特征。池化层则用于缩小特征图的尺寸,减少模型参数和计算量。全连接层则将特征向量映射到类别概率上。

特点

LeNet 的特点如下所示:

(1)定义了卷积神经网络(Convolutional Neural Network, CNN)的基本框架:卷积层+池化层(Pooling Layer)+全连接层;

(2)定义了卷积层(Convolution Layer),与全连接层相比,卷积层的不同之处有两点:局部连接(引进"感受野"这一概念)、权值共享(减少参数数量),卷积计算公式:

(3)利用池化层进行下采样(Downsampooling),从而减少计算量,池化计算公式:

(4)用tanh作为非线性激活函数(现在看到的都是改进过的LeNet了,用ReLu代替 tanh。相较于sigmoid,tanh以原点对称(zero-centered),收敛速度会快。

python实例

python 复制代码
import tensorflow as tf

def lenet_model():
    inputs = tf.placeholder(tf.float32, shape=[None, 28, 28, 1])
    conv1 = tf.layers.conv2d(inputs=inputs, filters=6, kernel_size=(5, 5), strides=(1, 1), padding='valid', activation=tf.nn.relu)
    pool1 = tf.layers.max_pooling2d(conv1, (2, 2), strides=(2, 2))
    conv2 = tf.layers.conv2d(inputs=pool1, filters=16, kernel_size=(5, 5), strides=(1, 1), padding='valid', activation=tf.nn.relu)
    pool2 = tf.layers.max_pooling2d(conv2, (2, 2), strides=(2, 2))
    flatten = tf.layers.flatten(pool2)
    dense1 = tf.layers.dense(flatten, 120, activation=tf.nn.relu)
    dense2 = tf.layers.dense(dense1, 84, activation=tf.nn.relu)
    logits = tf.layers.dense(dense2, 10)
    return inputs, logits
相关推荐
-Nemophilist-9 分钟前
机器学习与深度学习-1-线性回归从零开始实现
深度学习·机器学习·线性回归
方方怪31 分钟前
与IP网络规划相关的知识点
服务器·网络·tcp/ip
weixin_442643421 小时前
推荐FileLink数据跨网摆渡系统 — 安全、高效的数据传输解决方案
服务器·网络·安全·filelink数据摆渡系统
阑梦清川2 小时前
JavaEE初阶---网络原理(五)---HTTP协议
网络·http·java-ee
FeelTouch Labs3 小时前
Netty实现WebSocket Server是否开启压缩深度分析
网络·websocket·网络协议
好喜欢吃红柚子4 小时前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn
羊小猪~~4 小时前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
软工菜鸡5 小时前
预训练语言模型BERT——PaddleNLP中的预训练模型
大数据·人工智能·深度学习·算法·语言模型·自然语言处理·bert
长弓三石5 小时前
鸿蒙网络编程系列44-仓颉版HttpRequest上传文件示例
前端·网络·华为·harmonyos·鸿蒙
xianwu5435 小时前
反向代理模块
linux·开发语言·网络·git