moe

东姬AI6 天前
百度·大模型·数字人·ai视频·moe·文心5.5·联合生成
文心5.5 Flash今日发布:内容管线连配音都自动化了,最后卡住的为什么是「会表演」?11月11日下午,百度正式发布文心5.5 Flash Preview。官方给出的核心参数是:总参数量2800亿,每个token激活140亿参数,最长支持100万token上下文,生成速度超过每秒200个token。模型已上线千帆平台,API定价按忙闲时段区分——输入忙时2元、闲时1元(每百万token),输出忙时8元、闲时4元,限时五折;模型权重将在11月25日面向全球开源社区发布。
神奇的代码在哪里11 天前
大模型·模型部署·文心大模型·moe·ernie5.5
ERNIE-5.5-Flash-Base 开源速览:280B-A14B MoE 基座,微调与推理支持 1M 上下文2026 年 11 月 5 日,百度在魔搭社区与 Hugging Face 开放了 ERNIE-5.5-Flash-Base 权重。这是一个纯文本、完成预训练的稀疏 MoE 基座:总参数 280B、每 token 激活 14B,从零训练 33.5T tokens,训练上下文最高 128K,微调与推理支持 1M。它是领域适配、指令微调和强化学习研究的起点,本文用较短篇幅梳理规格、架构亮点、评测口径与部署方式。
deepseek2316 天前
moe·mistral·大模型部署
Mistral Large 4开源部署账:1T参数52B激活MoE,显存估算与自托管成本临界点怎么算10月29日,Mistral 把自家旗舰 Mistral Large 4(绰号 Le Chonk)的权重正式放上 Hugging Face。这不是一次临时起意的开源:10月6日官方先开了公共预览 API,明确说「weights drop end of this month」,之后用三周时间继续 scaling 强化学习,专攻编码和防御性网络安全两块,再把打磨后的版本连权重一起放出。预览到开源之间只隔 23 天,但官方口径是「收益仍在加速,没有看到饱和迹象」。
Agent世界19 天前
人工智能·开源·moe
摩尔线程开源万卡训练底座:大模型 MoE 训练的四个开关2026 年 10 月 28 日,摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan。IT之家当天 18:16 的报道给出了明确口径:项目基于摩尔线程全功能 GPU,聚焦万卡级集群上的万亿参数 MoE 模型训练,覆盖预训练与强化学习两大场景,为开发者提供面向 MUSA 平台的训练适配与系统优化能力。
骑着蜗牛撵大象32720 天前
分布式·算法·moe·deepseek-v3·mla·fp8训练
558 万美元训出 671B 模型:DeepSeek-V3 算法与系统的协同拆解大模型训练的成本焦虑已经从「能不能训」变成「能不能训得起」。同样规模的模型,不同团队烧的钱可能差一个数量级,差距不在显卡型号,而在算法与系统是不是一起设计的。DeepSeek-V3 用 1024 张 H800、约 278.8 万 GPU 小时、折合约 558 万美元跑完 14.8 万亿 token,这个数字本身就说明了一件事:省钱不是抠出来的,是设计出来的。
智码看视界20 天前
agent·moe·开源大模型·字节跳动·长上下文·apache-2.0·seed-2-oss
字节 Seed-2-OSS 开源,内部豆包能力的开源释放一句话定位:Seed-2-OSS 是字节跳动把内部豆包能力的开源释放版——MoE 把激活压到 22B,配上 Apache-2.0 和原生工具调用,是合规要求严、又要跑 agent 的团队的首选。
super大力张21 天前
cadd·moe·药物设计
MOE抗体的理性设计教程(06):Protein–Protein Docking——如何预测抗原–抗体的结合模式?在前面的教程中,我们已经利用MOE完成了CNTO607–IL-13复合物的结构准备、CDR注释、结合界面分析以及抗体理化性质计算。
EDPJ1 个月前
transformer·剪枝·moe·混合专家模型
(2026|中科院自动化所,路由冗余,动态分配的价值在激进剪枝,多模态更脆弱)你只需要选定专家的 2/3:细粒度 MoE LLM 中的动态专家剪枝论文地址:https://arxiv.org/abs/2609.25809项目页面:https://github.com/MingZwhy/An-Empirical-Study-on-Expert-Pruning
坤盾科技1 个月前
架构设计·moe·开源模型·deepseek·推理模型·engram
DeepSeek 开源模型矩阵深度拆解:不追“全能“,用架构差异重新定义能力边界摘要:多数厂商在追逐"一个模型通吃一切",DeepSeek 走了一条相反的路:用架构选择而非参数规模来切分任务空间。R1 用纯强化学习"逼"出推理能力,V3 用 5.5% 的激活比例实现接近稠密大模型的性价比,Prover 在 Lean 4 里生成机器可验证的证明,Engram 则在 MoE 之外开辟了"记忆稀疏"的第二条轴。本文系统拆解 DeepSeek 开源模型矩阵的六条产品线,讲清每一条线在解决什么问题、用什么架构解决、以及为什么这种"分工式开源"比"一个巨无霸"更有战略纵深。
Web3&Basketball1 个月前
macos·大模型·mac·本地部署·moe·显存优化·meta muse
Meta Muse 816B 实测:两台 Mac 本地跑通2026 年 10 月,Meta 放出了 Muse Spark Open,一组美产开源权重,总参数 816B、激活参数约 42B,上下文长度 1M。最特别的一点是,它的许可证里明确写进了「防止中国模型主导」的条款,所以这件事本身既是技术题,也是地缘题(来源:Meta 官方公告,2026-10)。
EDPJ1 个月前
llm·负载均衡·大语言模型·moe·推测解码(sd)
MoE 与推测解码(Speculative Decoding)加速:为什么慢、什么时候慢、怎么让它不慢?学术交流群:922230617目录0. 引言0.1 基础0.1.1 算法机制0.1.2 工程实现0.1.3 模型架构
️公子1 个月前
meta·vllm·moe·sglang·开源权重·agent推理·muse spark open
Meta 开源 Muse Spark Open 之后:自建 Agent 推理栈先过权重许可、MoE 并行拓扑、上下文预算、工具解析器与安全后训练闸门2026 年 10 月 15 日,Meta 研究博客与 Hugging Face 同步宣布开源权重模型 Muse Spark Open:原生多模态稀疏 MoE,约 816B 总参数 / 约 42B 每 token 激活,推理上下文可达 100 万 token,面向编程与长程 Agent。权重可在 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden、Microsoft Foundry Models 等渠道获取;Day-0 已接入 vLLM,并
神奇的代码在哪里1 个月前
人工智能·开源·大模型·ai agent·moe
Ling-3.1-flash 正式开源:560B 激活 25B,1M 上下文、MIT 许可摘要:Ling-3.1-flash 是蚂蚁集团百灵大模型团队(inclusionAI)在 2026 年 9 月 30 日发布的新一代模型,总参数约 560B、每条 token 只激活约 25B、上下文窗口上限 1M。它走的是一条和主流"发布即开源"相反的路:先用两周免费体验把模型放出来跑,权重则等到 10 月 14 日才正式上传魔搭社区,许可证是宽松的 MIT。本文按"规格 → 架构 → 能力 → 评测 → 开源落地 → 怎么用 → 注意事项"的顺序做一次完整介绍。
智码看视界1 个月前
多模态·视觉语言模型·本地部署·vllm·moe·开源大模型·qwen3-vl
开源大模型追踪:Qwen3-VL-30B-A3B :30B 总参单卡到底能不能跑?一句话:它是把"30B 知识容量 + 3B 激活开销"塞进一个 Apache-2.0 检查点的"效率旗舰"——吃满 30B 的理解力,却只付出稠密 3B 级别的每 token 算力,是少见的"能商用 + 能上消费级显卡"的多模态大模型。
super大力张1 个月前
cadd·moe·药物设计
技术支持日志2026.10.13——MOE 反应库显示 C2=0:原来是显式氢触发了输入限制用 MOE 2024.0601 将 Cys 与 CL2A–SN-38 做 Michael 加成时,Combinatorial Library 显示 C2=0,产物数也为0。检查三维结构,maleimide 的双键和两个羰基都正常。
一条大祥脚1 个月前
moe·deepseek·cs336·专家路由
【CS336】lecture4 MoE|专家路由|专家数量啥是MoE?就是原本模型有一个大线性层(FFN),不管来什么token都走一遍,这也是推理时主要的计算开销。现在改成多个小FFN层,对于每个token,选一些最相关的FFN做前向传播,因为不是所有token都需要整个FFN的知识。
智码看视界1 个月前
agent·vllm·moe·全模态·小米大模型·mimo-v2.6
开源大模型每日追踪:小米 MiMo-V2.6-Pro,登顶开放权重第一(超过 GLM-5.3 、Kimi K3)项目信息发布方小米大模型团队(Xiaomi MiMo Team)发布时间2026-09-21 HuggingFace 上权重;09-22 正式公告
I Am a robert girl1 个月前
注意力机制·模型优化·moe·大模型架构·混合专家·循环transformer·foil
如何循环 MoE:压平专家,解开注意力从今天觉醒,技术赋予每一个人数字生命过去两年,大模型架构的演进基本沿着两条独立路线展开。一条是循环 Transformer(Looped Transformer):把同一组层反复用几遍,用额外算力把固定尺寸的模型"榨"得更充分,让参数被复用得更彻底。另一条是稀疏混合专家(MoE):每个 token 只激活众多专家中的少数几个,从而在总参数量膨胀的同时控制单 token 计算量。
deepseek231 个月前
开源·大模型·moe·aiagent·ai架构
Kolibri 拆解:计算像 3.5B、显存要 78GB 的德国主权模型,把合规做进六个架构决策2026 年 10 月 3 日,德国公司 Aleph Alpha 发布了开放权重模型 Kolibri。
智码看视界2 个月前
昇腾·moe·开源大模型·智能体agent·本地推理·xing4.0-29b-a4b·单卡部署
开源大模型追踪:中电信人工智能Xing4.0-29B-A4B:SWE-bench 75.0逼近Qwen3.6-35B一句话定位:面向 Agent 的轻量 MoE,单张消费级显卡就能私有化跑长上下文智能体。这里要先说清一个容易混淆的点:总参 29B 听着比 7B 大,但本地跑得快不快,看的是"每 token 激活"而不是"总参"。Xing4.0 每 token 只点亮 4B 专家,推理算力开销接近一个 4B 稠密模型,显存却要装下全部 29B 权重——所以量化后单卡能跑,但原始 BF16 必须多卡。换句话说,它的"聪明"来自大权重库,"便宜"来自稀疏激活,两者分开看才不会误判部署门槛。