线性代数：向量、张量、矩阵和标量

线性代数：向量、张量、矩阵和标量

背景

在线性代数中，向量、张量、矩阵和标量都属于基础概念，特别是最近AI的爆火，向量和张量的概念也越来越普及，本文将介绍下这些基本概念。

1. 标量（Scalar）

1.1 定义和表示

标量是数学中的一个基本概念，它表示一个单独的实数，没有方向或位置。在数学表示中，我们通常用小写字母表示标量，例如 a 或 x。

1.2 例子

• 温度（32℃）
• 质量（62kg）
• 速度（102km/h）

标量是我们日常生活中常见的量，它们具有大小但没有方向。

在python代码中表示

	x = 1
	# 或者可以表示为0阶张量
    x = np.array(1)
    print(x.ndim)

2. 向量（Vector）

2.1 定义和表示

向量是有序的一维数组，其中包含多个标量元素。每个元素都有一个索引，表示其在向量中的位置。在数学表示中，我们通常用小写粗体字母表示向量，如 v。

2.2 例子

• 位移（向东200米）
• 力（向左10牛米）

向量不仅有大小，还有方向，因此它可以表示在空间中的运动或力的作用方向。

2.3 代码和图示

一个二维向量可以表示为
v = 1 2 3 v = \begin{bmatrix} 1 & 2 & 3 \end{bmatrix} v=123

在python代码中表示

	v = np.array([1, 2, 3])
    print(v.ndim)  # = 1

3. 矩阵（Matrix）

3.1 定义和表示

矩阵是一个二维数组，其中包含多个标量元素，这些元素按行和列排列。在数学表示中，我们通常用大写字母表示矩阵，如 A。

3.2 例子

• 图像的像素值
• 线性变换

公式和图示

一个 m x n 的矩阵 A 可以表示为：
A = a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} A= a11a21⋮am1a12a22⋮am2⋯⋯⋱⋯a1na2n⋮amn

在python代码中例子

	m = np.array([[1, 2], [3, 4]])
    print(m.ndim)  # = 2

4. 张量（Tensor）

4.1 定义和表示

在线性代数里面可以简单的将张量理解为一个多维数组，可以包含标量、向量和矩阵。在数学表示中，我们通常用大写粗体字母表示张量，如 T

4.2 例子

• 神经网络中的输入
• 多模态数据的表示，如图片语音视频等

公式和图示

在深度学习中，一个三维张量 T 可以表示为：

T = A B C D E F G H I \mathbf{T} = \begin{bmatrix} \mathbf{A} & \mathbf{B} & \mathbf{C} \\ \mathbf{D} & \mathbf{E} & \mathbf{F} \\ \mathbf{G} & \mathbf{H} & \mathbf{I} \end{bmatrix} T= ADGBEHCFI

这里A、B、C、D等可以是标量、向量或矩阵。

之间的关系

• 标量是零阶张量，向量是一阶张量，矩阵是二阶张量。
• 张量的阶数表示它包含的维度数量，不止是3阶张量，张量可以是无数阶。
• 从这种角度来看，万物皆张量