【NLP 71、常见大模型的模型结构对比】

三到五年的深耕,足够让你成为一个你想成为的人

------ 25.5.8

模型名称 位置编码 Transformer结构 多头机制 Feed Forward层设计 归一化层设计 线性层偏置项 激活函数 训练数据规模及来源 参数量 应用场景侧重
GPT-5 (OpenAI) RoPE动态相对编码 混合专家架构(MoE) 128头 MoE专家路由 RMSNorm GeGLU 超10万亿token(互联网+专有数据) 1.8万亿 金融风控、医疗诊断、多媒体生成
DeepSeek-V3 ALiBi 稀疏MoE架构 64头 稀疏激活 LayerNorm SwiGLU 5万亿token(学术论文+代码库) 6710亿 STEM科研、代码开发、教育题库
Google Gemini Ultra 绝对位置编码 时空注意力架构 256头 多模态跨模态融合 GroupNorm ReLU 8万亿token(视频+文本多模态数据) 1.2万亿 工业质检、实验室自动化、视频分析
百度文心一言4.0 绝对位置编码 搜索增强架构 96头 动态知识注入 RMSNorm GELU 4万亿token(百度搜索+古籍数据库) 2600亿 舆情分析、古籍处理、金融投研
华为盘古3.0 ALiBi 分层架构(L0-L2) 128头 行业知识蒸馏 LayerNorm GeGLU 行业专有数据(气象、矿山、制药) 1.1万亿 气象预测、矿山安全、药物研发
Anthropic Claude 3 RoPE 分步验证架构 64头 道德对齐模块 RMSNorm Swish 3万亿token(伦理对齐数据集) 5200亿 法律文书、心理咨询、学术辅助
阿里通义千问 旋转位置编码 MoE+3D生成架构 128头 多模态融合 LayerNorm SwiGLU 6万亿token(电商数据+3D模型库) 1.1万亿 电商客服、供应链优化、3D建模
星火大模型(科大讯飞) 相对位置编码 端云协同架构 96头 语音增强模块 RMSNorm GELU 2.5万亿token(教育+医疗专有数据) 890亿 教育辅导、医疗慢病管理、方言交互
豆包大模型(字节) 动态窗口编码 稀疏MoE+轻量化 32头 情感交互模块 LayerNorm ReLU 3万亿token(短视频+社交语料) 420亿 短视频生成、移动端实时推理
悟道大模型 双向相对编码 中英双语预训练架构 256头 多模态生成 GroupNorm GeGLU 7万亿token(多语言+文化遗产数据) 1.75万亿 文化遗产数字化、工业设计
相关推荐
DeepSeek大模型官方教程4 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
onceco15 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
陈敬雷-充电了么-CEO兼CTO1 天前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
AI让世界更懂你1 天前
【ACL系列论文写作指北15-如何进行reveiw】-公平、公正、公开
人工智能·自然语言处理
**梯度已爆炸**1 天前
自然语言处理入门
人工智能·自然语言处理
羊小猪~~1 天前
【NLP入门系列五】中文文本分类案例
人工智能·深度学习·考研·机器学习·自然语言处理·分类·数据挖掘
xwz小王子1 天前
从LLM到WM:大语言模型如何进化成具身世界模型?
人工智能·语言模型·自然语言处理
静心问道1 天前
FLAN-T5:规模化指令微调的语言模型
人工智能·语言模型·自然语言处理
李师兄说大模型1 天前
KDD 2025 | 地理定位中的群体智能:一个多智能体大型视觉语言模型协同框架
人工智能·深度学习·机器学习·语言模型·自然语言处理·大模型·deepseek
静心问道1 天前
SqueezeBERT:计算机视觉能为自然语言处理在高效神经网络方面带来哪些启示?
人工智能·计算机视觉·自然语言处理