1. Correlation Matrix of Model Logits 是说明什么的？
它反映的是：一个模型内部，不同类别之间的输出相关性结构。
👇 举例：
你有一个模型（无论是 teacher 还是 student），在测试集中预测了很多图像（比如 N=1000 张），每张图输出 [logit_0, logit_1, logit_2, logit_3] 四个类别得分。
-
你把所有图像的 logits 拿出来做相关性分析，计算的是：
Corr[i][j] = PearsonCorr(logit_i, logit_j)也就是：
在所有图像中，第 i 类和第 j 类的打分，是否同步升高、降低。
📌 这个矩阵说明了什么？
| 行为 | 说明 |
|---|---|
| Corr[i][j] ≈ 1 | 模型认为 i 和 j 类经常一起出现（或难以区分） |
| Corr[i][j] ≈ -1 | i 类高时，j 类低，说明它们是强对立关系 |
| Corr[i][j] ≈ 0 | 没有明显相关性 |
🧠 举例（实际含义）：
比如在皮肤病分类中：
-
类别 0（黑头） 和 类别 1（粉刺）有高相关性，说明模型认为它们容易混淆；
-
类别 0 和 类别 3（脓疱）无相关，说明它们形态差异大，模型容易分开。
✅ 2. Difference of Correlation Matrices (Student - Teacher) 是说明什么的？
它反映的是：学生模型与教师模型在类别结构建模上的差距。
也就是，我们不是关心"你分类准不准"，而是看：
"你有没有模仿到老师对不同类别之间的理解方式？"
📌 这个差值矩阵说明了什么？
你计算的是：
diff = corr_student - corr_teacher
-
如果
diff[i][j] ≈ 0：说明 student 和 teacher 对i类 和 j类 的语义关系保持一致； -
如果
diff[i][j] ≈ 正/负值：说明 student 的理解方式和 teacher 不一致，可能产生歧义、结构偏移。
✅ 3. 对比意义是什么？为什么论文要用这个？
| 类型 | 用途 | 常用于分析 |
|---|---|---|
| Correlation Matrix（单模型） | 看一个模型对类别关系的感知是否合理、混淆 | 用于观察模型"语义结构"能力 |
| Difference of Corr Matrix（两个模型） | 对比模型结构迁移是否成功 | 知识蒸馏、结构对齐分析 |