第二章 多层神经网络

线性函数与多层神经元

神经元:

一个神经元(线性的Linear)只能画直线,完成不了以下任务:

那么多个神经元能不能完成?

人类大脑神经与神经元


这样复杂的网络图就可以写成矩阵运算的形式。

串联的神经元似乎只有传递作用,那么一根和多根似乎没有区别,神经网络也是如此,在这样的情况下,无论多少层都只有一层。

要想给激活函数引入非线性元素,激活函数就至关重要了。

激活函数和非线性因素。

1、如果没有激活函数,无论网络多么复杂,最后的输出都是输入的线性组合,而纯粹的线性组合并不能解决更为复杂的问题。

2、引入激活函数之后,由于激活函数都是非线性的,这样就给神经元引入了非线性元素,使得神经网络可以逼近任何非线性函数,这样使得神经网络应用到更多非线性模型中。

可以看到,没有激活函数的神经网络永远是一条直线

深度学习的训练过程

梯度回传:用Loss对前面的所有参数进行求导

相关推荐
电科_银尘40 分钟前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
7177772 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn2 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健3 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道3 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9964 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
郝学胜-神的一滴4 小时前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David4 小时前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
字节跳动视频云技术团队4 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术5 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能