神经网络基础

神经网络的基本组成元素

一个神经元:

单层神经网络:

多层神经网络:(前向计算)

为什么要使用激活函数

如果不使用激活函数,每层只对上层的输入进行线性变换,实际这些线性变换可以归为一层即可。如果神经网络中只存在这样的线性运算的话,那么多层的神经网络其实可以被转换为单层的神经网络,即多层的神经网络和单层的神经网络实际表达的能力是一样的。因此引入非线性的激活函数,这样防止多层的神经网络塌缩成单一的神经网络。运用它也可以增加表达能力来拟合更加复杂的函数。

常见激活函数

输出层

输出层具有多种形态,它取决于你想让模型去输出什么样的数据。

如何训练神经网络

想要训练神经网络,首先要设定一个目标,然后冲着目标对神经网络进行调整。

例1:回归问题,降低损失函数的值:

例2:文本分类任务:最小化交叉熵

交叉熵具体计算过程:

最小化损失函数方法:在神经网络中通常采用梯度下降法

反向传播:

相关推荐
千宇宙航1 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
IT古董1 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(4)模型评价与调整(Model Evaluation & Tuning)
神经网络·机器学习·回归
onceco1 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
天水幼麟2 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
jndingxin4 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
天水幼麟4 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
Sweet锦4 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988945 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03275 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿5 小时前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习