神经网络基础

神经网络的基本组成元素

一个神经元:

单层神经网络:

多层神经网络:(前向计算)

为什么要使用激活函数

如果不使用激活函数,每层只对上层的输入进行线性变换,实际这些线性变换可以归为一层即可。如果神经网络中只存在这样的线性运算的话,那么多层的神经网络其实可以被转换为单层的神经网络,即多层的神经网络和单层的神经网络实际表达的能力是一样的。因此引入非线性的激活函数,这样防止多层的神经网络塌缩成单一的神经网络。运用它也可以增加表达能力来拟合更加复杂的函数。

常见激活函数

输出层

输出层具有多种形态,它取决于你想让模型去输出什么样的数据。

如何训练神经网络

想要训练神经网络,首先要设定一个目标,然后冲着目标对神经网络进行调整。

例1:回归问题,降低损失函数的值:

例2:文本分类任务:最小化交叉熵

交叉熵具体计算过程:

最小化损失函数方法:在神经网络中通常采用梯度下降法

反向传播:

相关推荐
MYZR132 分钟前
瑞萨电子:嵌入式计算与芯片技术的创新引领者
人工智能·核心板·ssd2351
胡耀超38 分钟前
大模型架构演进全景:从Transformer到下一代智能系统的技术路径(MoE、Mamba/SSM、混合架构)
人工智能·深度学习·ai·架构·大模型·transformer·技术趋势分析
小杨勇敢飞2 小时前
UNBIASED WATERMARK:大语言模型的无偏差水印
人工智能·语言模型·自然语言处理
m0_603888712 小时前
Delta Activations A Representation for Finetuned Large Language Models
人工智能·ai·语言模型·自然语言处理·论文速览
金融小师妹2 小时前
基于哈塞特独立性表态的AI量化研究:美联储政策独立性的多维验证
大数据·人工智能·算法
qinyia3 小时前
Wisdom SSH 是一款创新性工具,通过集成 AI 助手,为服务器性能优化带来极大便利。
服务器·人工智能·ssh
昨日之日20065 小时前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
SEO_juper8 小时前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号8 小时前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha8 小时前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能