【机器学习300问】70、向量化技术来计算神经网络时维度如何确保正确?

一、向量化技术在进行神经网络计算时的优势

向量化是一种优化技术,通过使用数组操作代替for循环,可以大大提高代码的性能和效率。在深度学习中尤其明显,可以提高计算效率、简化代码、优化内存使用。

二、如何确保计算时维度是正确的?

(1)先回顾一下神经网络的计算

用简单的逻辑回归来举例,用圆圈表示神经网络的计算单元,逻辑回归的计算有两个步骤:

  1. 首先你按步骤计算出
  2. 然后通过激活函数g计算出a

一个神经网络只是这样子重复做了好多次计算。

以一个两层的神经网络为例:

它的第一层计算公式如下:

(2)权重矩阵的维度

对于权重矩阵的维度而言:

  • 行维度是神经网络第层节点的个数
  • 列维度是前一层节点的个数

举例说明:对于第一层权重矩阵来说,它的前一层是输出层,所以输出层节点的个数是特征的数量。如下图

(3)输入矩阵的维度

如果输入的是一个样本,那么还不能叫做输入矩阵,还只是输入列向量

如果输入的是训练集(个样本),此时就能称为输入矩阵。

对于输入矩阵也写作而言:

  • 行维度是特征的数量;
  • 列维度是样本的数量;

(4)各层输出矩阵的维度

如果只有一个样本,那么各层的输出也只是一个列向量

如果有个样本参与训练,那么此时就能成为输出矩阵

  • 行的维度是第层节点的个数
  • 列的维度是训练样本的个数

(5)偏置列向量的维度

偏置是一个列向量,它在参与计算的时候会通过python的广播机制,变成一个矩阵。

对于第层偏置列向量而言,它的维度是

相关推荐
从负无穷开始的三次元代码生活1 分钟前
AI基座知识点——了解AI核心组件内容部分
人工智能·ai
林间码客1 分钟前
人工智能知识点复习汇总
人工智能
wilbertzhou1 分钟前
大语言模型时代的语义元数据:从静态资产目录到智能治理
人工智能·llm·大语言模型·数据治理·元数据管理·语义元数据
皮皮蟹虾饺3 分钟前
MiniMind:从零训练大语言模型全流程实战指南
人工智能·语言模型·自然语言处理
万俟淋曦3 分钟前
【论文速递】2026年第03周(Jan-11-17)(Robotics/Embodied AI/LLM)
人工智能·ai·机器人·大模型·论文·robotics·具身智能
邵宇然3 分钟前
静态图编译优化:基于 Rust 的计算图常量折叠与无效节点剪枝
人工智能
腾讯云开发者6 分钟前
从单体 Agent 到群体智能:OpenClaw 背后的分布式 AI 演进
人工智能
腾讯云开发者7 分钟前
从 OpenClaw 看消费零售企业 AI 落地的正确姿势
人工智能
良逍Ai出海8 分钟前
免费模板搭完独立站后,我用 Codex + Figma 做了自己的页面设计
前端·人工智能·figma
腾讯云开发者9 分钟前
OpenClaw 与 Agent 时代的人机交互真相
人工智能