神经网络基础-神经网络补充概念-20-激活函数

概念

激活函数是神经网络中的一个重要组成部分,它引入了非线性性质,使得神经网络可以学习和表示更复杂的函数关系。激活函数对于将输入信号转换为输出信号起到了关键作用,它在神经元的计算过程中引入了非线性变换。

几种常见的激活函数及其特点

Sigmoid函数:

Sigmoid 函数将输入映射到一个 0 到 1 的范围,它的公式是:f(x) = 1 / (1 + exp(-x))。

特点:Sigmoid 函数在输入很大或很小时,输出接近于0或1,适合用于输出层进行二分类问题的概率估计。但它在远离零点时梯度接近于零,可能导致梯度消失问题。

ReLU函数(Rectified Linear Unit):

ReLU 函数将负数输入变为零,非负数输入保持不变,它的公式是:f(x) = max(0, x)。

特点:ReLU 对于正数输入有很强的激活作用,能够缓解梯度消失问题。但存在一个问题,即在训练过程中可能出现"神经元死亡"现象,即某些神经元永远不会被激活。

Leaky ReLU函数:

Leaky ReLU 是对 ReLU 的改进,它在负数区域引入一个小的斜率,公式是:f(x) = x (x > 0),f(x) = ax (x <= 0),其中 a 是一个小于 1 的常数。

特点:Leaky ReLU 克服了 ReLU 的神经元死亡问题,但仍然能够引入一些非线性。

Tanh函数(双曲正切函数):

Tanh 函数将输入映射到 -1 到 1 的范围,公式是:f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))。

特点:Tanh 函数可以将输入的负值映射到负区间,适合用于隐藏层中。但仍然存在梯度消失问题。

Softmax函数:

Softmax 函数将一组实数映射到概率分布,用于多分类问题。它的公式是:f(x_i) = exp(x_i) / sum(exp(x_j)),其中 i 表示第 i 个类别。

特点:Softmax 函数用于多分类输出,将神经网络的输出转换为概率分布。

代码实现

python 复制代码
import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))
python 复制代码
import numpy as np

def relu(x):
    return np.maximum(0, x)
python 复制代码
import numpy as np

def leaky_relu(x, alpha=0.01):
    return np.where(x > 0, x, alpha * x)
python 复制代码
import numpy as np

def tanh(x):
    return np.tanh(x)
python 复制代码
import numpy as np

def softmax(x):
    exp_x = np.exp(x - np.max(x, axis=-1, keepdims=True))
    return exp_x / np.sum(exp_x, axis=-1, keepdims=True)
相关推荐
Power20246661 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k1 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫1 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班1 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k1 小时前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型
YRr YRr1 小时前
深度学习:循环神经网络(RNN)详解
人工智能·rnn·深度学习
sp_fyf_20241 小时前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-11-01
人工智能·深度学习·神经网络·算法·机器学习·语言模型·数据挖掘
红客5972 小时前
Transformer和BERT的区别
深度学习·bert·transformer
多吃轻食2 小时前
大模型微调技术 --> 脉络
人工智能·深度学习·神经网络·自然语言处理·embedding
charles_vaez2 小时前
开源模型应用落地-glm模型小试-glm-4-9b-chat-快速体验(一)
深度学习·语言模型·自然语言处理