如何训练神经网络--1

文章目录


前言

学海无涯,笔勤不辍...暑假过的也太懒惰了...没想到已经断更了一个多月了...笔者要好好反省自己,下次还敢 hhh

本阶段,笔者将更新一些ML/DL的相关知识,满满干货,快点赞收藏吧...(本文基于读者,对机器学习/神经网络/深度学习 有一定的基础了解,直接上实操相关的知识...)


训练一个神经网络,最基本的要了解激活函数,预处理、权重设置、Btach normalization、评价模型、超参数优化

今天就浅浅谈一下激活函数(常见)的问题,以及在实践中用哪个激活函数比较好...

一、浅谈激活函数

1.sigmoid 函数

其公式为:f(x)= 1/(1+e-x)

sigmoid函数存在的问题:

复制代码
1.可以发现,当input(x)是正数且特别大或者是负数且特别小,函数趋于平坦,梯度变得很小,即神经元趋于饱和,使得反向传播时,根据梯度对各超参数调整的幅度很小,很可能会发生"梯度消失"的问题
2.同时,经由sigmoid函数后,input(x)会被投影到(0,1)之间,这不是0对称的,也就是说,下一层的神经元的输入都是正的,这也使得超参数的梯度优化方向不是一直为正就是一直为负,这使得梯度下降/超参数优化变得困难..
3.因为要计算e/exp() 会消耗大量的计算资源...
​```

2.tanh函数

其公式为:

可以看出,它在sigmoid函数基础上进行了改进,解决了非0中心的问题,能让输入的input(x)不全为正数,这比sigmoid是一个进步...

它的问题:

复制代码
1.与sigmoid函数相同,当输入的值为大的正数或小的负数,它在后向传播中可能会导致"梯度消失"问题
2.要计算e/exp() 消耗了计算机的算力资源

3.RELU函数:

其公式为:

可以很清楚的看见,当input(x)是正数时,它的梯度不会消失,一定程度上解决了梯度消失的问题

同时,它的运算是线性的,速度更快,在实际操作中,一般是sigmod/tanh 的六倍

但它同样存在问题,就是它没有0中心化...

RELU系列的激活函数是很多的...之后的就之后来更新吧...
实践中多使用RELU函数作为激活函数,可以尝试使用tanh或者其他RELU系列函数,不要用sigmoid函数!!!


总结

在训练神经网络时,激活函数最好使用RELU系列,一般是RELU函数...RELU函数能很好增加非线性,它在正数范围很好的克服了神经元的饱和问题,输入有不同能很直观的表现出来,能让更多信息进入下一层,使得神经网络更好地学习到现实世界的信息,更加贴合现实世界...但是RELU函数,可能会死亡,由于负输入会使得输出是0,影响参数的更新,导致神经元的失效...

相关推荐
Jamence6 分钟前
多模态大语言模型arxiv论文略读(157)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
巴伦是只猫16 分钟前
【深度学习笔记】2 浅层神经网络
笔记·深度学习·神经网络
DogDaoDao17 分钟前
Rembg开源项目全面解析:从原理到实践应用
人工智能·深度学习·开源·github·图像分割·背景检测·rembg
汀、人工智能30 分钟前
AI-Compass LLM训练框架生态:整合ms-swift、Unsloth、Megatron-LM等核心框架,涵盖全参数/PEFT训练与分布式优化
人工智能·分布式·sft·swift·大模型训练
ATM00630 分钟前
开源AI Agent开发平台Dify源码剖析系列(二)
人工智能·开源·dify·源码剖析
ATM0062 小时前
人机协作系列(四)AI编程的下一个范式革命——看Factory AI如何重构软件工程?
人工智能·大模型·agent·人机协作·人机协同
读创商闻3 小时前
极狐GitLab CEO 柳钢——极狐 GitLab 打造中国企业专属 AI 编程平台,引领编程新潮流
人工智能·gitlab
kailp3 小时前
语言模型玩转3D生成:LLaMA-Mesh开源项目
人工智能·3d·ai·语言模型·llama·gpu算力
marteker3 小时前
弗兰肯斯坦式的人工智能与GTM策略的崩溃
人工智能·搜索引擎
无心水3 小时前
大语言模型零样本情感分析实战:无需机器学习训练,96%准确率实现指南
人工智能·机器学习·语言模型