神经网络基础

神经网络的基本组成元素

一个神经元:

单层神经网络:

多层神经网络:(前向计算)

为什么要使用激活函数

如果不使用激活函数,每层只对上层的输入进行线性变换,实际这些线性变换可以归为一层即可。如果神经网络中只存在这样的线性运算的话,那么多层的神经网络其实可以被转换为单层的神经网络,即多层的神经网络和单层的神经网络实际表达的能力是一样的。因此引入非线性的激活函数,这样防止多层的神经网络塌缩成单一的神经网络。运用它也可以增加表达能力来拟合更加复杂的函数。

常见激活函数

输出层

输出层具有多种形态,它取决于你想让模型去输出什么样的数据。

如何训练神经网络

想要训练神经网络,首先要设定一个目标,然后冲着目标对神经网络进行调整。

例1:回归问题,降低损失函数的值:

例2:文本分类任务:最小化交叉熵

交叉熵具体计算过程:

最小化损失函数方法:在神经网络中通常采用梯度下降法

反向传播:

相关推荐
老坛程序员8 分钟前
抓包解析MCP协议:基于JSON-RPC的MCP host与MCP server的交互
人工智能·网络协议·rpc·json·交互
努力毕业的小土博^_^22 分钟前
【深度学习|学习笔记】详细讲解一下 深度学习训练过程中 为什么 Momentum 可以加速训练?
人工智能·笔记·深度学习·学习·momentum
飞哥数智坊23 分钟前
DeepSeek 节前突袭发布 V3.2-Exp:长文本推理成本直降75%!
人工智能·deepseek
清风吹过25 分钟前
少样本学习论文分享:多模态和类增量学习
论文阅读·人工智能·深度学习·学习·机器学习
居然JuRan42 分钟前
抽丝剥茧的Transformer详解
人工智能
计算机小手1 小时前
AI截图解答工具,可自定义设置多模态模型和提示词
人工智能·经验分享·开源软件
资讯全球1 小时前
2025年用户体验佳的大型企业报销系统
人工智能·百度·ux
海底的星星fly2 小时前
【Prompt学习技能树地图】单一思维链优化-自我一致性提示工程原理、实践与代码实现
人工智能·语言模型·prompt
无妄无望3 小时前
解码器系列(1)BERT
人工智能·深度学习·bert
葡萄与www3 小时前
模块化神经网络
人工智能·深度学习·神经网络·机器学习