什么是神经网络的非线性

大家好啊,我是董董灿。

最近在写《计算机视觉入门与调优》(右键,在新窗口中打开链接)的小册,其中一部分说到激活函数的时候,谈到了神经网络的非线性问题。

今天就一起来看看,为什么神经网络需要非线性,或者说为什么它是一个非线性系统。

1、线性系统是什么样的

先看一个基础知识:线性函数,这是我们在初中就学过的知识点。

假设有一个线性函数:y = kx + b, 这个函数画出来是下面的样子,也就是说, y 和 x 是线性关系。

而这个时候如果又有一个线性函数 z = hy + d,那么,我们可以推断出,变量 z 和 x 同样也是线性关系。

为什么呢? 可以通过下面的变换得到。

z = hy + d

= z(kx + b) + d

= zk x + zb + d

= zk(x) + (zb + d)

令 zk = K, zb + d = B,那么 z 和 x 的关系就可以写出 z = Kx + B

所以,z 和 x 同样是线性关系。

这里想说的一个原理是:多个线性系统的叠加,最终还会是线性系统。

2、神经网络是什么系统呢?

回到神经网络,我们知道卷积的算法公式是 y = x * w,,其中 x 是输入数据,w 是权值,中间的 * 代表卷积计算。关于卷积可以查看:5分钟搞懂卷积。

那么x * w 是线性关系还是非线性关系呢?不好意思,就是线性关系。

这是因为卷积的核心计算是乘累加运算,所以,卷积算法也是线性的。

假设神经网络是由大量的卷积算法一层接着一层组成。如果没有非线性因素的引入,那么在数学模型上,这个大的卷积堆砌的模型就会退化成一个简单的线性模型,这就使得多层卷积失去了意义。

层数再多也没用,因为数学上等价于一个卷积,看下图解释的更清楚一些。

这就是原因所在。

所以在很多神经网络模型中,都需要引入非线性因素,从而使得神经网络模型可以拟合成更加复杂多变的非线性系统。

这样模型就可以处理复杂的任务,而不用担心模型在数学上仅仅是一个简单的线性模型了。

怎么引入非线性因素呢?

最常见的方法就是在卷积层后面增加一层非线性的激活层,这也是为什么在很多卷积算法后面,都能看到 relu 函数的原因。

延伸阅读,请参考:神经网络的非线性思想,真的神了。

相关推荐
Baihai_IDP3 分钟前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm
挖掘狂人4 分钟前
AI 三分钟写完的代码,你凭什么敢直接上线?
人工智能·程序员·ai编程
墨林陌19 分钟前
AI 热点日报(2026-11-20):苹果自研 AI 智能体曝光,Anthropic 上市首日大涨,智能体支付落地
人工智能
AAA修煤气灶刘哥23 分钟前
32 GB 内存跑起 1800 亿参数模型,代价是什么?
人工智能·后端·架构
玩美数据1 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
oil欧哟1 小时前
Oil Studio 的产品思路与日常使用方式:在 Mac 上录口播演示,并接入 AI Agent 精剪与自动录屏
人工智能·macos
意念回复1 小时前
从 RNN 到 GQA:自注意力与多头注意力机制全解析
人工智能·rnn·深度学习
Flynn Liang2 小时前
AI Agent 分层记忆体系实战:用 Redis 五类结构构建可淘汰、可追溯的长短期记忆
数据库·人工智能·redis
CyrusYiVPP2 小时前
新用户第二周还剩几个?pandas做留存率cohort分析,数据分析实战第6期
人工智能·python
谙弆悕博士2 小时前
多智能体架构详解:网状去中心化架构(Mesh对等P2P)
人工智能·架构·去中心化·p2p·多智能体·智能体·langgraph