深度学习-前向传播

激活函数就是把线性的函数变成非线性的,目前所写的sigmoid函数就是激活函数,有了这个函数的参与就可以拟合出任意的曲线,果有多个神经元(用权重矩阵代替权重向量),每个神经元都会输出一个"小段非线性",所有小段组合起来,就能拟合复杂的整体非线性函数。

这种【】里面的代表的是神经网络的第几层,右下角的小标代表的是第几个

激活函数就是引入非线性,如果没有激活函数,那么不管堆叠几层神经网络堆叠的有多深,最终都是一个线性的简单的模型,能力和仅仅只有一层的神经网络都差不多,

激活值就是当数据进入到一层中 与这一层的参数计算后的输出就是激活值,激活值就是一层神经网络的输出值

对于单层的向前传播我们粗暴地用手搓出最基本的原理是这样的(如下图)

我们先粗暴的进行赋值参数,然后在进行计算,然后定于激活函数进行变换,然后拼接起来,大致是这样

下面我们定义一个dense函数

这个函数的目的就是 输入上一层的激活,输出当前层的激活,W已将变成了矩阵,

我们看一下这个函数

第一行是获取矩阵的列

第二行是初始化这一层的激活值,全部用0填充

第三行便利列数,

第四行取出当前便利的列

第五行进行神经元的计算,参数W和激活值的点积加上B

第六行,激活函数sigmoid应用与z

所以密集函数dense函数的作用是输入前一层的激活值,并根据当前层的参数返回下一层的激活值,

因此给定密集函数dense我们可以按照顺序连接几个密集层,对于字母的大小写,当字母代表的是矩阵的时候我们统一用大写,当字母代表向量或者标量的时候我们统一用小写以实现神经网络的向前传播,如下图所示,

为了做到

相关推荐
Ai-_Man13 分钟前
希望大家能推荐一款软件,可以直接把文心生成的代码变流程图,提高办公效率
人工智能·ai·小程序·流程图
AI02263 小时前
探秘AI Agent软件公司:开启智能时代的创新引擎
人工智能
fīɡЙtīиɡ ℡5 小时前
AI 应用系统设计
java·开发语言·人工智能
小淮AI5 小时前
国际教育课程的本土化探索:以枫叶教育三十年为观察样本
大数据·人工智能
又折桃枝换酒钱5 小时前
VisCoder2:构建多语言可视化编码智能体(翻译与解读)
人工智能·信息可视化
AI绘画哇哒哒5 小时前
【建议收藏!】35岁后端血泪忠告,这3类人别硬转Agent(过来人亲述)
java·人工智能·后端·ai·程序员·大模型·agent
Chengbei115 小时前
DSH渗透测试插件dsh-pentest全新升级!适配DeepSeek Harness,可视化探索链路,一键搭建轻量化AI渗透测试环境。
人工智能·web安全·网络安全·微信·小程序·系统安全·安全架构
QN1幻化引擎5 小时前
DalinX Phi 性能突破:跨层秩保持对齐与意识涌现度量的实证研究
人工智能·ai·架构·agi·asi
NeilCarmack5 小时前
Deepseek-harness增加桌面版端序列:第 1 讲 · 命令解析:`pnpm dsh desktop` 的第一步
人工智能·agent·ai agent