激活函数应该具有哪些特征
1.非线性
2.可微性
3.计算效率高
4.缓解梯度消失与爆炸
5.合理的输出范围
6.稀疏激活能力
7.主流激活函数对比（扩展版）
#人工智能#具身智能#VLA#大模型#AI#LLM#Transformer 架构#AI技术前沿#Agent大模型#工信部证书#人工智能证书#职业证书
相关推荐
之歆6 小时前
Spring AI入门到实战到原理源码-MCP知乎的哥廷根数学学派6 小时前
面向可信机械故障诊断的自适应置信度惩罚深度校准算法（Pytorch）且去填词6 小时前
DeepSeek ：基于 Schema 推理与自愈机制的智能 ETL待续3016 小时前
订阅了 Qoder 之后，我想通过这篇文章分享一些个人使用心得和感受。weixin_397578026 小时前
人工智能发展历史人工干智能7 小时前
OpenAI Assistants API 中 client.beta.threads.messages.create方法，兼谈一星*和两星**解包databook7 小时前
当条形图遇上极坐标：径向与圆形条形图的视觉革命强盛小灵通专卖员7 小时前
基于深度学习的山体滑坡检测科研辅导：从论文实验到系统落地的完整思路OidEncoder7 小时前
从 “粗放清扫” 到 “毫米级作业”，编码器重塑环卫机器人新能力Hcoco_me7 小时前
大模型面试题61：Flash Attention中online softmax（在线softmax）的实现方式