【笔记ing】AI大模型-05单层感知机与多层感知机

单层感知机,是一种最简单的人工神经网络

输入层input layer,输入的样本特征

输出层output layer,输出的预测结果

权值W=(w0,w1,w2,...,wn)^T,感知机的权值参数,其中的w0叫做偏置,也称截距,类似逻辑回归决策函数中的b

激活函数

多层感知机是基于单层感知机之上加入隐藏层。隐藏层的层数是任意的,每一层人工神经元的个数也任意。

多层感知机中,每一个节点与下一个节点都有连接,这样的神经网络称为全连接神经网络full connected neural network

基于多层感知机构造的神经网络中,神经元的层数是不唯一的

由输入层向隐藏层最终到达输出层获得输出结果的过程,将其称作前向传播、前向计算,forward,即按照神经网络的决策函数:

由输入特征x参与上式计算后得到yhat的过程。

神经网络模型的优化过程是基于决策函数给出模型的损失函数,并使用梯度下降法对损失函数做极小化,伴随迭代梯度下降过程不断对目标权重(参数)进行优化,最终求得权重的最优解,这个过程称为反向传播,backword。

损失函数描述的是预测结果与真实结果的偏离程度

需要先经过前向计算得到预测结果,再反向由预测结果与真实结果的偏离程度构建损失函数

使用梯度下降法完成极小化,最终求解权重的最优解

即对损失函数反向链式求导的过程

反向链式求导,求梯度就是求一个向量,这个向量的模长就是方向导数的最大值,求解方向导数只需能够求解出对所有自变量的偏导数再结合方向即可,所以求梯度回归本质就是求偏导

所以就是反向传播

多层感知机所构成的神经网络,其模型的求解思路是固定的,无论感知机构成的是何种网络,CNN,RNN,生成式GAN网络、Transformer。。。都遵循基本通用思路

CNN

RNN

生成式GAN

Transformer

确定网络的决策函数,需先确定网络的结构

依据决策函数完成前向计算,获得输出结果,即预测结果

依据前向计算过程得到的预测结果给出损失函数

完成反向传播,根据梯度下降法对损失函数极小化,优化更新模型的权重,获得最优解

网络的训练过程即复杂的调参过程

参数训练前需要合理的初始化

参数训练中需确保想着最优解的方向进行优化

参数训练完毕要能够获得最优解

调参。。。前路漫漫又灿灿


仅用于本人学习

来源:网络

相关推荐
soldierluo2 小时前
WindowServer2022下docker方式安装dify步骤
ai
哥不是小萝莉7 小时前
如何实现本地大模型与MCP集成
ai·mcp
豌豆花下猫11 小时前
Python 潮流周刊#104:Python 考虑添加虚拟线程啦?(摘要)
后端·python·ai
考拉悠然科技11 小时前
AI感知与行动:考拉悠然发布空间智能世界模型,让AI走进物理世界
人工智能·ai
武子康12 小时前
AI炼丹日志-24 - MCP 自动操作 提高模型上下文能力 Cursor + Sequential Thinking Server Memory
大数据·人工智能·算法·机器学习·ai·语言模型·自然语言处理
kkai人工智能13 小时前
解决开发者技能差距:AI 在提升效率与技能培养中的作用
开发语言·人工智能·ai·chatgpt·媒体
小于小于大橙子18 小时前
强化学习的前世今生(五)— SAC算法
人工智能·算法·ai·自动驾驶·概率论·强化学习
soldierluo19 小时前
window10下docker方式安装dify步骤
ai
cui_win1 天前
LangChain 和 LangChain-ChatChat 的区别
学习·ai·langchain
XINVRY-FPGA1 天前
XCVP1902-2MSEVSVA6865 Xilinx FPGA Versal Premium SoC/ASIC
嵌入式硬件·安全·阿里云·ai·fpga开发·云计算·fpga