Llama 4 Maverick Scout 多模态MoE新里程碑

传送锚点

Meta Llama 4 Maverick和Scout模型近日在Hugging Face Hub上发布 这标志着大型语言模型发展的一个重要飞跃 两款模型均采用原生多模态MoE架构 不仅能力强大 而且在长文本处理方面展现了惊人创新

Llama 4 技术亮点

Llama 4 是Meta推出的新一代自回归混合专家模型MoE架构 此次发布包含两个核心模型

  • Llama 4 Maverick 具备17B活跃参数 总参数量约400B 拥有128个专家模块 这是其能力卓越的关键

  • Llama 4 Scout 同样拥有17B活跃参数 但总参数量约为109B 仅使用16个专家模块 注重效率

两款模型都实现了原生多模态能力 能够直接处理文本和图像输入 Llama 4 在高达40万亿个token的数据集上训练 覆盖200种语言 并针对阿拉伯语 西班牙语 德语和印地语等12种语言进行了特定微调

部署与优化

为了提高部署的灵活性和可访问性 Llama 4 Scout 经过优化 可通过即时4位或8位量化 在单张服务器级GPU上运行 而Maverick则提供BF16和FP8格式 这些模型均遵循定制的Llama 4社区许可协议发布 可在模型库中查看

Hugging Face 生态整合

Hugging Face 提供了全面的集成支持 助力社区立即投入使用

  • 模型检查点 Llama 4 Maverick和Llama 4 Scout的模型权重以及指令微调版本 已在Hugging Face Hub的meta-llama组织下开放

  • transformers支持 Llama 4 模型已完全集成到transformers v4.51.0及更高版本 支持简便的加载 推理和微调 包括其原生多模态功能

  • TGI支持 Text Generation Inference TGI 也对两款模型提供支持 确保高效可扩展的部署

  • 量化支持 Scout 提供即时int4量化代码 Maverick则包含FP8量化权重 满足不同硬件配置的需求

  • Xet存储 所有Llama 4模型均采用Xet存储后端 提升上传下载速度 并实现了约25%的数据去重 衍生模型甚至可达约40%的去重效果 大幅节省时间和带宽

长文本处理秘诀

Llama 4 模型预训练上下文长度为256K 指令微调模型支持更长的上下文长度 其中Maverick支持1M而Scout版本则达到了惊人的10M 这得益于一系列创新架构选择

  • 无位置编码NoPE层 Llama 4 在每四个层中使用NoPE层 它们抛弃了传统的RoPE等位置编码方案 而是利用完整的因果掩码处理上下文 在长文本处理中至关重要

  • 分块注意力Chunked Attention 在使用传统RoPE位置编码的层中 采用分块注意力机制 减少内存需求 RoPE层只关注8K块的上下文 而NoPE层可访问整个上下文

  • 注意力温度调节 针对长序列中注意力得分趋近于零的问题 Llama 4 在NoPE层引入温度缩放机制 提高了对任意上下文长度的泛化能力 这可能是Scout实现10M上下文长度的关键

  • QK归一化 Scout模型在RoPE层中对查询Query和键Key状态进行了额外的RMS归一化

  • MoE交错 Scout是一个完整的MoE模型 包含16个专家 Maverick则采用MoE层和密集层交替的方式 专家应用于一半的层中

  • 协同蒸馏Co-distillation Maverick通过一种新颖的损失函数 从更大的Llama Behemoth模型中协同蒸馏而来 动态平衡学生模型和教师模型的逻辑值

  • MetaP 模型利用MetaP方法 优化训练预算和模型尺寸等维度上的超参数

性能评估

Llama 4 模型在各项评估中展现了卓越性能 显著超越了如Llama 3.1 405B等前代模型 例如 在推理和知识任务上 经过指令微调的Maverick在MMLU Pro上取得了80.5%的成绩 在GPQA Diamond上达到69.8% 而Scout分别取得了74.3%和57.2%

使用指南

借助transformers库可轻松开始使用Llama 4 请确保安装transformers v4.51.0或更高版本 例如 使用指令微调的Maverick模型处理多模态输入 需要多张GPU来并行运行详细用法和示例可在模型仓库中查看包括多模态示例 特定提示格式和高级配置选项

相关推荐
DashVector3 小时前
向量检索服务 DashVector产品计费
数据库·数据仓库·人工智能·算法·向量检索
AI纪元故事会3 小时前
【计算机视觉目标检测算法对比:R-CNN、YOLO与SSD全面解析】
人工智能·算法·目标检测·计算机视觉
音视频牛哥3 小时前
从协议规范和使用场景探讨为什么SmartMediaKit没有支持DASH
人工智能·音视频·大牛直播sdk·dash·dash还是rtmp·dash还是rtsp·dash还是hls
赞奇科技Xsuperzone3 小时前
DGX Spark 实战解析:模型选择与效率优化全指南
大数据·人工智能·gpt·spark·nvidia
音视频牛哥4 小时前
SmartMediaKit:如何让智能系统早人一步“跟上现实”的时间架构--从实时流媒体到系统智能的演进
人工智能·计算机视觉·音视频·音视频开发·具身智能·十五五规划具身智能·smartmediakit
喜欢吃豆4 小时前
OpenAI Agent 工具全面开发者指南——从 RAG 到 Computer Use —— 深入解析全新 Responses API
人工智能·microsoft·自然语言处理·大模型
音视频牛哥5 小时前
超清≠清晰:视频系统里的分辨率陷阱与秩序真相
人工智能·机器学习·计算机视觉·音视频·大牛直播sdk·rtsp播放器rtmp播放器·smartmediakit
johnny2335 小时前
AI视频创作工具汇总:MoneyPrinterTurbo、KrillinAI、NarratoAI、ViMax
人工智能·音视频
Coovally AI模型快速验证5 小时前
当视觉语言模型接收到相互矛盾的信息时,它会相信哪个信号?
人工智能·深度学习·算法·机器学习·目标跟踪·语言模型