深度学习·神经网络初步

神经网络

  • 输入层+隐藏层+输出层
  • 隐藏层有不同的种类

神经网络的术语

n [ i ] : n^{[i]}: n[i]:第i层的神经元个数
z [ i ] , w [ i ] , b [ i ] z^{[i]},w^{[i]},b^{[i]} z[i],w[i],b[i]:第i层的参数
a [ i ] : a^{[i]}: a[i]:第i层的激活函数

神经网络的原理

前向传播

z [ l + 1 ] = W [ l + 1 ] A [ l ] + b [ l + 1 ] z^{[l+1]}=W^{[l+1]}A^{[l]}+b^{[l+1]} z[l+1]=W[l+1]A[l]+b[l+1]

其中:

  • 矩阵 A [ l ] A^{[l]} A[l]是第 l l l层的输出矩阵(等价于第 l + 1 l+1 l+1层的输入矩阵),规模大小为( n [ l ] n^{[l]} n[l]x m m m)
  • 矩阵 W W W是第 l l l层的权重矩阵,规模大小为( n [ l + 1 ] n^{[l+1]} n[l+1]x n [ l ] n^{[l]} n[l])

矩阵A的实际含义是:列是样本,行是特征

矩阵W的实际含义是:看作当前层神经元的权重向量(这是一个行向量)组成的列向量

反向传播

提示:
J ( w , b ) J(w,b) J(w,b)等价于 J ( y , a [ l + 1 ] ) J(y,a^{[l+1]}) J(y,a[l+1])

利用链式法则求导,每次反向传播 z [ l + 1 ] z^{[l+1]} z[l+1]

推导过程如下

超参数和参数

  • 参数:w,b
  • 超参数:学习率, λ \lambda λ,神经元的个数,神经网络的层数,不同的层等,正则化方法

正则化

L2-正则化

公式与线性回归一致,只不过对矩阵 W W W求范数,需要计算 W W W中所有权重的和np.sum

Dropout正则化(反向随机失活)

随机丢弃一些神经元(输出结果置0)

表现在代码上就是生成随机矩阵作为掩码与输出矩阵相乘

相关推荐
小麦矩阵系统永久免费5 分钟前
短视频矩阵系统哪个好用?2025最新评测与推荐|小麦矩阵系统
大数据·人工智能·矩阵
Mr.Lee jack7 分钟前
【vLLM】源码解读:高性能大语言模型推理引擎的工程设计与实现
人工智能·语言模型·自然语言处理
IT_陈寒15 分钟前
Java性能优化:这5个Spring Boot隐藏技巧让你的应用提速40%
前端·人工智能·后端
MicroTech202523 分钟前
微算法科技(NASDAQ:MLGO)开发延迟和隐私感知卷积神经网络分布式推理,助力可靠人工智能系统技术
人工智能·科技·算法
喜欢吃豆29 分钟前
多轮智能对话系统架构方案(可实战):从基础模型到自我优化的对话智能体,数据飞轮的重要性
人工智能·语言模型·自然语言处理·系统架构·大模型·多轮智能对话系统
文火冰糖的硅基工坊43 分钟前
[嵌入式系统-83]:算力芯片的类型与主流架构
人工智能·重构·架构
视觉语言导航3 小时前
ICRA-2025 | 阿德莱德机器人拓扑导航探索!TANGO:具有局部度量控制的拓扑目标可穿越性感知具身导航
人工智能·机器人·具身智能
西猫雷婶7 小时前
CNN卷积计算
人工智能·神经网络·cnn
格林威9 小时前
常规线扫描镜头有哪些类型?能做什么?
人工智能·深度学习·数码相机·算法·计算机视觉·视觉检测·工业镜头
lyx33136967599 小时前
#深度学习基础:神经网络基础与PyTorch
pytorch·深度学习·神经网络·参数初始化