个人思考-信号与系统、数值分析和神经网络

很多人觉得信号与系统、数值分析和神经网络是三门不相关的课程，其实它们解决的是同一个问题的不同层面。

1. 信号与系统负责回答"这是一个什么样的系统"，明确输入--输出关系、动态特性和稳定性；
2. 数值分析负责回答"这个系统如何在计算机上稳定地算出来"，解决离散化、迭代和收敛问题；
3. 神经网络则在前两者基础上，让系统中的未知参数通过数据自动学习。

因此，神经网络是一个可学习的信号系统模型：

结构来自信号与系统，计算依赖数值分析，能力来源于数据驱动学习。

理解这一点，神经网络就不再是黑箱，而是一种工程化、可解释的系统建模方法。