吴恩达2022机器学习专项课程C2W1:(选修)2.13 如何高效实施神经网络 & 2.14 矩阵乘法 & 2.15 矩阵乘法规则 & 矩阵乘法代码

这里写目录标题

本节内容

向量化的神经网络是如何工作的。

神经网络规模扩大的原因

神经网络可以向量化,并行计算硬件(包括GPU以及一些CPU功能)非常擅长进行大规模矩阵乘法。

如何向量化代码(引言)

1.原始代码

计算第一层的激活值,使用for循环计算每个神经元的激活值,最终输出3个激活值。

2.向量化代码

首先把X,W,B都转化成二维数组,然后for循环的内容用nump的matmul矩阵乘法表示,最终激活值也是一个1行3列的二维数组。

向量乘法和矩阵乘法

1.向量与向量乘法

1.1 一般形式

两个向量对应元素的乘积之和,结果是一个标量。

1.2 转置形式

  • 向量的转置是将行向量转换为列向量,或将列向量转换为行向量。
  • 可以把行向量当成1行2列的二维数组,列向量当成2行1列的二维数组,有助于理解矩阵乘法。
  • 转置的目的是为了一个二维数组的行数匹配另一个二维数组的列数,从而可以进行矩阵乘法。

    1.3 小结
    列向量的点积与行向量和列向量的矩阵乘法是等效的。

2.向量与矩阵乘法

2.1 a的转置乘矩阵

2.2 计算过程

a的转置乘W第一列,作为Z的第一个元素。a的转置乘W的第二列,作为Z的第二个元素

3.矩阵与矩阵乘法

3.1 矩阵的转置

列转换为行,一次一列,直到所有列转换完毕。

3.2 看待矩阵的方式

看到矩阵,就想想列。看到矩阵的转置,就想想行。
3.3 计算过程

  • A转置第一行与W第一列乘积:13+24=11,放入新二维数组的第一行第一列。
  • A转置第一行与W第二列乘积:14+2 6=17,放入新二维数组的第一行第二列
  • A转置第二行与W第一列乘积:-13±24=-11,放入新二维数组的第二行第一列。
  • A转置第二行与W第二列乘积:-14±2 6=-17,放入新二维数组的第二行第二列。

矩阵乘法的规则

1.标记矩阵

新矩阵的行数对应第一个矩阵的行数。新矩阵的列数对应第二个矩阵的列数。

2.计算矩阵

矩阵Z的第一行第一列的点,对应A转置第一行与W第一列的点积,11。

矩阵Z的最终结果

3.矩阵可以相乘的条件

第一个矩阵的列数等于第二个矩阵的行数。

如何向量化代码(具体实现)

1.Numpy实现二维数组转置

二维数组调用.T,即可实现转置。

2.Numpy矩阵相乘

两个方法是相同含义。

3.整体过程

矩阵对应二维数组的写法。

神经网络(前向传播)的向量化

相关推荐
西猫雷婶4 分钟前
pytorch基本运算-分离计算
人工智能·pytorch·python·深度学习·神经网络·机器学习
pzx_0016 分钟前
【LeetCode】14. 最长公共前缀
算法·leetcode·职场和发展
self_myth7 分钟前
算法与数据结构实战技巧:从复杂度分析到数学优化
算法
T1an-113 分钟前
Axum web框架【实习】
学习·rust
知识分享小能手15 分钟前
React学习教程,从入门到精通, React 新创建组件语法知识点及案例代码(11)
前端·javascript·学习·react.js·架构·前端框架·react
songx_9941 分钟前
leetcode10(跳跃游戏 II)
数据结构·算法·leetcode
没有梦想的咸鱼185-1037-16631 小时前
基于R语言机器学习方法在生态经济学领域中的实践技术应用
开发语言·机器学习·数据分析·r语言
@小红花1 小时前
从0到1学习Vue框架Day03
前端·javascript·vue.js·学习·ecmascript
Webb Yu2 小时前
Azure Databricks 实践:数据分析、机器学习、ETL 与 Delta Lake
机器学习·数据分析·azure
先做个垃圾出来………2 小时前
差分数组(Difference Array)
java·数据结构·算法