大模型架构演进:从Transformer到MoE

大模型架构演进:从Transformer到MoE

一、 Transformer的辉煌与局限

二、 MoE:用"稀疏激活"撬动模型容量

三、 MoE为何成为大模型新范式?

四、 典型实践:从GLaM到Qwen-MoE

五、 挑战与未来方向

相关推荐
梦星辰.4 小时前
大语言模型训练中的显存占用与优化方法简述
人工智能·深度学习·语言模型
deephub4 小时前
信息访问 vs. 推理能力:LLM Agent 性能归因的实验分析
人工智能·深度学习·大语言模型·agent
高洁017 小时前
问题三:GraphRAG的研究现状、实例演示
人工智能·深度学习·信息可视化·数据挖掘·知识图谱
mingo_敏7 小时前
YOLO26 增加 LoRA 支持(参数高效微调 PEFT)
深度学习·神经网络·cnn
青松@FasterAI8 小时前
【动手学大模型】机器何以学习
人工智能·深度学习·神经网络·自然语言处理·大模型开发
t198751288 小时前
基于深度学习的图像分割MATLAB实现
人工智能·深度学习·matlab
词元Max8 小时前
1.2 深度学习核心概念:神经网络直觉理解
人工智能·深度学习·神经网络
Dway8 小时前
范数-归一化
人工智能·深度学习·机器学习·范数·l2归一化
清空mega8 小时前
李沐《动手学深度学习》——实战 Kaggle 比赛:预测房价
人工智能·深度学习
LaughingZhu8 小时前
Product Hunt 每日热榜 | 2026-03-26
人工智能·经验分享·深度学习·神经网络·产品运营