神经网络中的激活函数

目录

一、什么是激活函数:

  • 激活函数是神经网络中的一种函数,它在神经元中起到了非线性映射的作用。
  • 在神经网络的每个神经元中 ,都会通过激活函数将输入信号进行处理,然后输出给下一层神经元。
  • 通俗解释:逻辑回归模型中的Sigmoid函数就是逻辑回归模型的激活函数,通过将输入特征向量x映射到Sigmoid函数的输入z上,将输出g映射到[0,1]范围内,实现了最终目标:预测结果输出二分类0/1。

二、如何选择激活函数:

每个神经元都可以选择各自的激活函数。

1.Sigmoid激活函数:

  • 当某个神经元所解决的是二分类问题(二分类问题,结果只有两个) 时,建议选择Sigmoid激活函数。
  • 这时该神经元就是一个普通的逻辑回归模型。

2.线性激活函数:

  • 当某个神经元解决的是回归问题(回归问题,结果有无限个),且输出可正可负 时,建议使用线性激活函数。
  • 这时该神经元就是一个普通的线性回归模型。

3.ReLU激活函数:

  • 当某个神经元解决的是回归问题(回归问题,结果有无限个),且输出只能是正数 时,建议使用ReLU激活函数。
  • 这时该神经元就是一个预测结果非负的线性回归模型。
相关推荐
港股研究社31 分钟前
华为Mate 70系列发布,揭示AI+消费电子产业化新阶段
人工智能·华为
bylander33 分钟前
【AI学习】Mamba学习(十八):S6的硬件感知设计
人工智能·深度学习·学习·机器学习
途普智能35 分钟前
途普科技企业知识中台完成华为昇思MindSpore技术认证
数据库·人工智能·科技·华为·知识图谱
卡卡_R-Python36 分钟前
分类算法——基于heart数据集实现
人工智能·分类·数据挖掘
上海合宙LuatOS2 小时前
直接抄作业!Air780E模组LuatOS开发:位运算(bit)示例
人工智能·单片机·嵌入式硬件·物联网·硬件工程·iot
池央2 小时前
深度学习模型:卷积神经网络(CNN)
人工智能·深度学习·cnn
deephub2 小时前
Scikit-learn Pipeline完全指南:高效构建机器学习工作流
人工智能·python·机器学习·scikit-learn
知来者逆2 小时前
首次公开用系统审查与评估大语言模型安全性的数据集
人工智能·机器学习·语言模型·自然语言处理·llm·大语言模型
HyperAI超神经3 小时前
NeurIPS 2024 有效投稿达 15,671 篇,数据集版块内容丰富
人工智能·开源·自动驾驶·数据集·多模态·化学光谱·neurips 2024
uhakadotcom4 小时前
AI搜索引擎的尽头是电商?从perplexity开始卖货说起...
前端·人工智能·后端