学习了最近大热的KAN网络
论文地址：https://arxiv.org/pdf/2404.19756
按我个人读论文的习惯总结了如下几点：
1，背景：
1）**灵感来源：**于Kolmogorov-Arnold表示定理，也就是多变量连续函数可以表示为一变量连续函数的有限组合。
2）MLPs的缺点：
（I）固定激活函数：MLPs在每个神经元上使用固定的激活函数，这限制了模型适应复杂数据模式的能力。
（II）可解释性差
（III）维度灾难
（IV）使用ReLU激活函数时，对于逼近指数函数和正弦函数等函数时效率非常低
（V）在Transformer中，MLPs消耗了几乎所有的非嵌入参数
3）与MLPs相比，KANs在网络的边上使用可学习的激活函数，而不是节点上的固定激活函数。
2，KAN的技术细节
1）结构
KANs中的激活函数由B样条（B-splines）定义，这是一种分段定义的多项式，用于生成平滑曲线。每个激活函数都是一个B样条曲线，其系数是可学习的参数。这种参数化方法不仅提供了高度的灵活性，还允许模型在训练过程中自动调整激活函数的形状，以更好地适应数据。
（图0.1 MLPs和KANs的对比）
左侧：流经网络的激活函数的表示。右侧：激活函数被参数化为B样条曲线（B-spline），允许在粗粒度和细粒度网格之间进行切换。
文章提出的KAN的基础模型结构：
其计算图完全由如下方程指定：
并在图0.1(b)中进行了说明（输入维度n=2），它呈现为一个两层神经网络，激活函数位于边上而非节点上（在节点上进行简单的求和），中间层的宽度为2n + 1。
2）训练
KANs可以使用标准的反向传播算法进行训练，因为所有操作都是可微分的。在训练过程中，模型的参数（包括B样条的系数）会通过梯度下降算法进行更新。论文中提到了使用LBFGS（Limited-memory Broyden--Fletcher--Goldfarb--Shanno）优化器进行训练，这是一种适用于非线性优化问题的算法。
3，KANs的优点：
1）准确性：在小规模的AI+Science任务中，KANs显示出比MLPs更高的准确性。
2）可解释性：KANs的架构允许更直观的可视化和与人类的交互，有助于提高模型的可解释性。
3）神经扩展法则：KANs拥有比MLPs更快的神经扩展法则，意味着在模型参数增加时，测试误差下降得更快。
4）避免灾难性遗忘：KANs利用样条的局部特性来避免在持续学习中出现的灾难性遗忘问题。
4，KANs的缺点和暂时的不足：
1）训练速度：KANs相比于MLPs训练速度较慢。论文指出，KANs的训练通常比MLPs慢10倍。
2）理论基础尚不完善：目前只适用于特定结构的KAN，对于构建更深更宽的网络还没有理论支持。
3）算法效率：论文中提到，KANs在算法效率方面存在一些问题，例如，不同的激活函数不能利用批处理计算，这限制了计算效率。
4）超参数依赖性：KANs的性能可能依赖于特定的超参数选择，例如，论文中提到了熵惩罚和正则化强度对网络稀疏性的影响。
5）高维时如何实现：目前尚不清楚我们的方法是否能推广到更实际的场景中，尤其是当维度较高时，如何定义"局部性"尚不清楚。
6）泛化能力尚存疑：尽管KANs在理论上具有避免维度灾难的潜力，但论文中也提到了需要进一步研究KANs在不同数据集上的鲁棒性，以及它们与其他深度学习架构的兼容性。
7）复杂性与可解释性：论文中提到，虽然KANs提供了更高的可解释性，但是在某些情况下，例如当激活函数的权重矩阵存在时，可解释性可能会受到影响。
8）持续学习：尽管KANs在避免灾难性遗忘方面表现出潜力，但论文中也指出了需要进一步研究KANs在更现实的场景中的持续学习能力。
9）应用范围：论文中提出KANs在小规模AI+Science任务中表现出色，但对于更大规模或更复杂的任务，KANs的表现和适用性还需要进一步的实证研究。
10）计算资源：论文中提到，尽管KANs在参数数量上可能比MLPs更高效，但它们在实际应用中可能需要更多的计算资源，尤其是在处理大规模数据集时。
作为一个新模型，目前的不足多一点也很正常，重要的是其潜力。如果能够把KANs推广到目前MLPs的所有应用场景，那可以填的坑可以写的论文就太多了。
5，文中提到的应用场景：
1）小规模AI+Science任务：KANs在小规模的人工智能与科学结合的任务中表现出色，尤其是在准确性和可解释性方面。
2）函数拟合：KANs在数学和物理学的特定函数拟合任务中，展示了比传统MLPs更高的准确性。
3）数学中的结理论（Knot Theory）：KANs被用于探索和重新发现结理论中的数学关系，这涉及到了拓扑学的应用。
4）物理学中的Anderson局域化：KANs被应用于分析和理解电子在量子系统中的局域化现象，这涉及到了凝聚态物理学。
5）解决偏微分方程（PDEs）：KANs在解决特定类型的偏微分方程时表现出了潜力，特别是在物理信息神经网络（Physics-Informed Neural Networks, PINNs）的框架内。
6）图像表示学习：虽然论文中没有直接提到图像处理，但KANs理论上可以应用于图像的隐式表示，例如通过学习图像的隐式函数来进行图像压缩或生成。
7）持续学习：KANs在持续学习场景中展现出避免灾难性遗忘的能力，这对于开发能够随时间累积知识的模型非常重要。
8）科学发现：KANs由于其可解释性，被提出作为帮助科学家（重新）发现数学和物理定律的工具。
9）通用函数逼近：论文中提到KANs理论上具有通用逼近性质，能够逼近多变量连续函数，这意味着它们可以应用于广泛的函数逼近任务。