神经网络基础

神经网络的基本组成元素

一个神经元:

单层神经网络:

多层神经网络:(前向计算)

为什么要使用激活函数

如果不使用激活函数,每层只对上层的输入进行线性变换,实际这些线性变换可以归为一层即可。如果神经网络中只存在这样的线性运算的话,那么多层的神经网络其实可以被转换为单层的神经网络,即多层的神经网络和单层的神经网络实际表达的能力是一样的。因此引入非线性的激活函数,这样防止多层的神经网络塌缩成单一的神经网络。运用它也可以增加表达能力来拟合更加复杂的函数。

常见激活函数

输出层

输出层具有多种形态,它取决于你想让模型去输出什么样的数据。

如何训练神经网络

想要训练神经网络,首先要设定一个目标,然后冲着目标对神经网络进行调整。

例1:回归问题,降低损失函数的值:

例2:文本分类任务:最小化交叉熵

交叉熵具体计算过程:

最小化损失函数方法:在神经网络中通常采用梯度下降法

反向传播:

相关推荐
大魔王(已黑化)31 分钟前
OpenCV —— 绘制图形
人工智能·opencv·计算机视觉
开开心心_Every1 小时前
多线程语音识别工具
javascript·人工智能·ocr·excel·语音识别·symfony
机器之心1 小时前
扣子开源全家桶,Apache 2.0加持,AI Agent又一次卷到起飞
人工智能
草堂春睡足1 小时前
【Datawhale AI夏令营】科大讯飞AI大赛(大模型技术)/夏令营:让AI理解列车排期表
人工智能·笔记
余俊晖1 小时前
GRPO强化学习缓解多模态大模型OCR任务的幻觉思路及数据生成思路
人工智能
sssammmm1 小时前
AI入门学习-模型评估示例讲解
人工智能·学习
小Tomkk1 小时前
AutoLabelImg:高效的数据自动化标注工具和下载
运维·人工智能·自动化
aneasystone本尊1 小时前
构建和使用 RAGFlow 的标签集
人工智能
柠檬味拥抱1 小时前
CI/CD与模型监控平台集成MLOps系统实现的全面路径
人工智能
人生都在赌1 小时前
MCP生态全景:2025年最值得关注的AI工具集成现状深度调研
人工智能·ai编程·mcp