大话机器学习-1.神经网络

神经网络是一层一层组织起来的一个层状结构。简单来说,就是由输入层,隐藏层,输出层组成。

输入层用于接受数据,节点数等于输入特征的维度。

隐藏层也就是神经网络进行思考的地方。

输出层就是产生预测结果。

神经网络最重要的一个步骤就是学习,那么他是如何学习呢?

实质上就是重复"进行前向传播计算损失函数进行反向传播进行更新权重",从而重复"反向传播"从而的得到最优参数。

导数

指的是函数值随自变量变化的速率

方向导数

指的是多元函数在某一个特定方向上的导数值。

最常用的方法就是利用梯度下降法,通过计算损失函数关联模型参数的梯度,从而优化模型参数。

简单的就是举一个例子:

目标是得到预测的房价,输入为面积,输出为房价。

该神经网络只有输入层,输出层。输出层没有激活函数

是的简称,是

这是输出层:

均方误差:

输入100平方米,真实值为300万元

设置随机值为

,于是。

误差为200-300=-100

损失函数为

计算损失函数对w的梯度

计算损失函数对b的梯度

利用学习率更新模型参数

学习率为lr=0.0001

更新完一轮

如果有激活函数当然也要给激活函数求导,所以激活函数一定要可导

相关推荐
forest_092 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区3 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔3 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区3 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1234 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI4 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健4 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV4 小时前
Google 重返第一梯队
人工智能·google·aigc
十有八七5 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端