Claude-Opus4.6-Cursor:几何解释
Rank 就是变换后空间的维度。
一个矩阵AAA把输入向量映射到输出空间,rank 告诉你输出空间是几维的:
- rank=3\text{rank} = 3rank=3:输出充满整个三维空间
- rank=2\text{rank} = 2rank=2:不管输入是什么,输出都落在一个平面上
- rank=1\text{rank} = 1rank=1:输出都落在一条直线上
这就是 3B1B 在"线性变换"那几集里反复展示的:矩阵把空间压扁、拉伸、旋转,rank 就是压完之后还剩几个维度。
理解了这个,再回看 LoRA:ΔW\Delta WΔW 的 rank = 64,意思就是微调带来的变化把信号限制在了一个 64 维的"平面"里(在 3584 维空间中)。
几何直觉建立好之后,数学定义只是把这个直觉写成了精确的符号语言,到时候你会觉得"哦,说的就是这个事"。