吴恩达2022机器学习专项课程C2W1:(选修)2.13 如何高效实施神经网络 & 2.14 矩阵乘法 & 2.15 矩阵乘法规则 & 矩阵乘法代码

这里写目录标题

本节内容

向量化的神经网络是如何工作的。

神经网络规模扩大的原因

神经网络可以向量化,并行计算硬件(包括GPU以及一些CPU功能)非常擅长进行大规模矩阵乘法。

如何向量化代码(引言)

1.原始代码

计算第一层的激活值,使用for循环计算每个神经元的激活值,最终输出3个激活值。

2.向量化代码

首先把X,W,B都转化成二维数组,然后for循环的内容用nump的matmul矩阵乘法表示,最终激活值也是一个1行3列的二维数组。

向量乘法和矩阵乘法

1.向量与向量乘法

1.1 一般形式

两个向量对应元素的乘积之和,结果是一个标量。

1.2 转置形式

  • 向量的转置是将行向量转换为列向量,或将列向量转换为行向量。
  • 可以把行向量当成1行2列的二维数组,列向量当成2行1列的二维数组,有助于理解矩阵乘法。
  • 转置的目的是为了一个二维数组的行数匹配另一个二维数组的列数,从而可以进行矩阵乘法。

    1.3 小结
    列向量的点积与行向量和列向量的矩阵乘法是等效的。

2.向量与矩阵乘法

2.1 a的转置乘矩阵

2.2 计算过程

a的转置乘W第一列,作为Z的第一个元素。a的转置乘W的第二列,作为Z的第二个元素

3.矩阵与矩阵乘法

3.1 矩阵的转置

列转换为行,一次一列,直到所有列转换完毕。

3.2 看待矩阵的方式

看到矩阵,就想想列。看到矩阵的转置,就想想行。
3.3 计算过程

  • A转置第一行与W第一列乘积:13+24=11,放入新二维数组的第一行第一列。
  • A转置第一行与W第二列乘积:14+2 6=17,放入新二维数组的第一行第二列
  • A转置第二行与W第一列乘积:-13±24=-11,放入新二维数组的第二行第一列。
  • A转置第二行与W第二列乘积:-14±2 6=-17,放入新二维数组的第二行第二列。

矩阵乘法的规则

1.标记矩阵

新矩阵的行数对应第一个矩阵的行数。新矩阵的列数对应第二个矩阵的列数。

2.计算矩阵

矩阵Z的第一行第一列的点,对应A转置第一行与W第一列的点积,11。

矩阵Z的最终结果

3.矩阵可以相乘的条件

第一个矩阵的列数等于第二个矩阵的行数。

如何向量化代码(具体实现)

1.Numpy实现二维数组转置

二维数组调用.T,即可实现转置。

2.Numpy矩阵相乘

两个方法是相同含义。

3.整体过程

矩阵对应二维数组的写法。

神经网络(前向传播)的向量化

相关推荐
ZTLJQ4 分钟前
基于机器学习的三国时期诸葛亮北伐失败因素量化分析
人工智能·算法·机器学习
Cynthia的梦11 分钟前
Linux学习-Linux进程间通信(IPC)聊天程序实践指南
linux·运维·学习
JohnFF27 分钟前
48. 旋转图像
数据结构·算法·leetcode
bbc12122627 分钟前
AT_abc306_b [ABC306B] Base 2
算法
赵钰老师35 分钟前
【Deepseek、ChatGPT】智能气候前沿:AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
人工智能·python·深度学习·机器学习·数据分析
生锈的键盘36 分钟前
推荐算法实践:movielens数据集
算法
董董灿是个攻城狮36 分钟前
Transformer 通关秘籍9:词向量的数值实际上是特征
算法
nuise_44 分钟前
李宏毅机器学习笔记06 | 鱼和熊掌可以兼得的机器学习 - 内容接宝可梦
人工智能·笔记·机器学习
代码AC不AC1 小时前
【数据结构】队列
c语言·数据结构·学习·队列·深度讲解
林泽毅1 小时前
SwanLab x EasyR1:多模态LLM强化学习后训练组合拳,让模型进化更高效
算法·llm·强化学习