【笔记ing】AI大模型-05单层感知机与多层感知机

单层感知机,是一种最简单的人工神经网络

输入层input layer,输入的样本特征

输出层output layer,输出的预测结果

权值W=(w0,w1,w2,...,wn)^T,感知机的权值参数,其中的w0叫做偏置,也称截距,类似逻辑回归决策函数中的b

激活函数

多层感知机是基于单层感知机之上加入隐藏层。隐藏层的层数是任意的,每一层人工神经元的个数也任意。

多层感知机中,每一个节点与下一个节点都有连接,这样的神经网络称为全连接神经网络full connected neural network

基于多层感知机构造的神经网络中,神经元的层数是不唯一的

由输入层向隐藏层最终到达输出层获得输出结果的过程,将其称作前向传播、前向计算,forward,即按照神经网络的决策函数:

由输入特征x参与上式计算后得到yhat的过程。

神经网络模型的优化过程是基于决策函数给出模型的损失函数,并使用梯度下降法对损失函数做极小化,伴随迭代梯度下降过程不断对目标权重(参数)进行优化,最终求得权重的最优解,这个过程称为反向传播,backword。

损失函数描述的是预测结果与真实结果的偏离程度

需要先经过前向计算得到预测结果,再反向由预测结果与真实结果的偏离程度构建损失函数

使用梯度下降法完成极小化,最终求解权重的最优解

即对损失函数反向链式求导的过程

反向链式求导,求梯度就是求一个向量,这个向量的模长就是方向导数的最大值,求解方向导数只需能够求解出对所有自变量的偏导数再结合方向即可,所以求梯度回归本质就是求偏导

所以就是反向传播

多层感知机所构成的神经网络,其模型的求解思路是固定的,无论感知机构成的是何种网络,CNN,RNN,生成式GAN网络、Transformer。。。都遵循基本通用思路

CNN

RNN

生成式GAN

Transformer

确定网络的决策函数,需先确定网络的结构

依据决策函数完成前向计算,获得输出结果,即预测结果

依据前向计算过程得到的预测结果给出损失函数

完成反向传播,根据梯度下降法对损失函数极小化,优化更新模型的权重,获得最优解

网络的训练过程即复杂的调参过程

参数训练前需要合理的初始化

参数训练中需确保想着最优解的方向进行优化

参数训练完毕要能够获得最优解

调参。。。前路漫漫又灿灿


仅用于本人学习

来源:网络

相关推荐
攻城狮7号11 小时前
小米 MiMo 开源:7B 参数凭什么 “叫板” AI行业巨头?
人工智能·ai·开源·mimo·小米ai
小白跃升坊14 小时前
如何在 AI 小助手对话中显示原文预览
ai·提示词模版
Uranus^14 小时前
Spring AI 入门(持续更新)
java·人工智能·spring·ai
结冰架构15 小时前
【AI提示词】马斯洛需求分析专家
大数据·人工智能·ai·需求分析·提示词
偷偷折个角︿16 小时前
GPT官网/官方入口在哪?国内如何流畅使用ChatGPT?最新镜像站与使用指南
人工智能·gpt·ai·chatgpt
AI掘金17 小时前
DeepSeek实战--手搓实现Agent
ai·ai编程·ai agent·deepseek
一起喝芬达201018 小时前
cursor平替,试试 vscode+cline+openrouter 的方案,还能自定义 mcp-server 教程大纲
ide·ai·ai编程
AI掘金19 小时前
DeepSeek实战--微调
ai·大模型·aigc·大模型微调·ai应用
yi念zhi间1 天前
如何把ASP.NET Core WebApi打造成Mcp Server
后端·ai·mcp