moe

MOE抗体的理性设计教程（06）：Protein–Protein Docking——如何预测抗原–抗体的结合模式？在前面的教程中，我们已经利用MOE完成了CNTO607–IL-13复合物的结构准备、CDR注释、结合界面分析以及抗体理化性质计算。

（2026|中科院自动化所，路由冗余，动态分配的价值在激进剪枝，多模态更脆弱）你只需要选定专家的 2/3：细粒度 MoE LLM 中的动态专家剪枝论文地址：https://arxiv.org/abs/2609.25809项目页面：https://github.com/MingZwhy/An-Empirical-Study-on-Expert-Pruning

DeepSeek 开源模型矩阵深度拆解：不追“全能“，用架构差异重新定义能力边界摘要：多数厂商在追逐"一个模型通吃一切"，DeepSeek 走了一条相反的路：用架构选择而非参数规模来切分任务空间。R1 用纯强化学习"逼"出推理能力，V3 用 5.5% 的激活比例实现接近稠密大模型的性价比，Prover 在 Lean 4 里生成机器可验证的证明，Engram 则在 MoE 之外开辟了"记忆稀疏"的第二条轴。本文系统拆解 DeepSeek 开源模型矩阵的六条产品线，讲清每一条线在解决什么问题、用什么架构解决、以及为什么这种"分工式开源"比"一个巨无霸"更有战略纵深。

Web3&Basketball

Meta Muse 816B 实测：两台 Mac 本地跑通2026 年 10 月，Meta 放出了 Muse Spark Open，一组美产开源权重，总参数 816B、激活参数约 42B，上下文长度 1M。最特别的一点是，它的许可证里明确写进了「防止中国模型主导」的条款，所以这件事本身既是技术题，也是地缘题（来源：Meta 官方公告，2026-10）。

MoE 与推测解码（Speculative Decoding）加速：为什么慢、什么时候慢、怎么让它不慢？学术交流群：922230617目录0. 引言0.1 基础0.1.1 算法机制0.1.2 工程实现0.1.3 模型架构

Meta 开源 Muse Spark Open 之后：自建 Agent 推理栈先过权重许可、MoE 并行拓扑、上下文预算、工具解析器与安全后训练闸门2026 年 10 月 15 日，Meta 研究博客与 Hugging Face 同步宣布开源权重模型 Muse Spark Open：原生多模态稀疏 MoE，约 816B 总参数 / 约 42B 每 token 激活，推理上下文可达 100 万 token，面向编程与长程 Agent。权重可在 Hugging Face、Amazon SageMaker AI、Google Cloud Model Garden、Microsoft Foundry Models 等渠道获取；Day-0 已接入 vLLM，并

神奇的代码在哪里

Ling-3.1-flash 正式开源：560B 激活 25B，1M 上下文、MIT 许可摘要：Ling-3.1-flash 是蚂蚁集团百灵大模型团队（inclusionAI）在 2026 年 9 月 30 日发布的新一代模型，总参数约 560B、每条 token 只激活约 25B、上下文窗口上限 1M。它走的是一条和主流"发布即开源"相反的路：先用两周免费体验把模型放出来跑，权重则等到 10 月 14 日才正式上传魔搭社区，许可证是宽松的 MIT。本文按"规格 → 架构 → 能力 → 评测 → 开源落地 → 怎么用 → 注意事项"的顺序做一次完整介绍。

智码看视界

开源大模型追踪：Qwen3-VL-30B-A3B ：30B 总参单卡到底能不能跑？一句话：它是把"30B 知识容量 + 3B 激活开销"塞进一个 Apache-2.0 检查点的"效率旗舰"——吃满 30B 的理解力，却只付出稠密 3B 级别的每 token 算力，是少见的"能商用 + 能上消费级显卡"的多模态大模型。

技术支持日志2026.10.13——MOE 反应库显示 C2=0：原来是显式氢触发了输入限制用 MOE 2024.0601 将 Cys 与 CL2A–SN-38 做 Michael 加成时，Combinatorial Library 显示 C2=0，产物数也为0。检查三维结构，maleimide 的双键和两个羰基都正常。

一条大祥脚

【CS336】lecture4 MoE|专家路由|专家数量啥是MoE？就是原本模型有一个大线性层（FFN），不管来什么token都走一遍，这也是推理时主要的计算开销。现在改成多个小FFN层，对于每个token，选一些最相关的FFN做前向传播，因为不是所有token都需要整个FFN的知识。

智码看视界

开源大模型每日追踪：小米 MiMo-V2.6-Pro，登顶开放权重第一（超过 GLM-5.3 、Kimi K3）项目信息发布方小米大模型团队（Xiaomi MiMo Team）发布时间2026-09-21 HuggingFace 上权重；09-22 正式公告

I Am a robert girl

如何循环 MoE：压平专家，解开注意力从今天觉醒,技术赋予每一个人数字生命过去两年，大模型架构的演进基本沿着两条独立路线展开。一条是循环 Transformer（Looped Transformer）：把同一组层反复用几遍，用额外算力把固定尺寸的模型"榨"得更充分，让参数被复用得更彻底。另一条是稀疏混合专家（MoE）：每个 token 只激活众多专家中的少数几个，从而在总参数量膨胀的同时控制单 token 计算量。

Kolibri 拆解：计算像 3.5B、显存要 78GB 的德国主权模型，把合规做进六个架构决策2026 年 10 月 3 日，德国公司 Aleph Alpha 发布了开放权重模型 Kolibri。

智码看视界

开源大模型追踪：中电信人工智能Xing4.0-29B-A4B：SWE-bench 75.0逼近Qwen3.6-35B一句话定位：面向 Agent 的轻量 MoE，单张消费级显卡就能私有化跑长上下文智能体。这里要先说清一个容易混淆的点：总参 29B 听着比 7B 大，但本地跑得快不快，看的是"每 token 激活"而不是"总参"。Xing4.0 每 token 只点亮 4B 专家，推理算力开销接近一个 4B 稠密模型，显存却要装下全部 29B 权重——所以量化后单卡能跑，但原始 BF16 必须多卡。换句话说，它的"聪明"来自大权重库，"便宜"来自稀疏激活，两者分开看才不会误判部署门槛。

专家池 8→128 只慢 5%：Ai2 开源万亿参数 MoE 训练框架 Olmo-core 3💡 一句话总结：非营利机构 Ai2 于 10 月 1 日开源 Olmo-core 3——一套重写过的 MoE（混合专家）训练系统：8 张 B300 上吞吐约 2.7 倍于旧实现、512 卡验证 1.2 万亿参数模型、MXFP8 低精度再提速 21%。它不是新模型，而是下一代 Olmo 的训练基座，也是目前 Megatron-Core 之外少有的开放替代。

KV Cache 瘦身 437 倍：DeepSeek V4.1-Flash 的推理效率革命2026 年 9 月，大模型行业迎来史上最密集的发布季：OpenAI、Anthropic、Google、xAI 接连甩出旗舰模型。但比"谁又刷了榜"更值得关注的是评价标准的换轨——从裸跑分转向"单位成本下的交付能力"。在这一轮竞赛中，DeepSeek 用一款 V4.1-Flash 给出了自己的答案：不堆参数、不打嘴仗，而是在推理效率和显存占用上做了一次教科书级的手术。

# MOE 肽类药物设计（十二）：柔性肽怎么 Dock？从 Conformational Search 到 General Dock上一篇介绍了肽对接的两条路线：Protein–Protein Docking 和 Protein–Ligand Docking。

# MOE 肽类药物设计（八）：让自定义非天然氨基酸真正可用——Rotamer Library 怎么建立？上一章完成以后，我们已经有了一个：nnaa_library.mdb其中保存了 CYC4、AZE2 等自定义非天然氨基酸。

MOE 肽类药物设计（七）：天然氨基酸不够用？在 MOE 中创建自己的非天然氨基酸上一篇中，我们已经使用 Molecule Builder 对肽上的单个原子进行修改。如果进一步思考，就会发现一个很自然的问题：

MOE 肽类药物设计（四）：结合位点还有没有优化空间？用 Surface 和 Protein Patches 看懂蛋白口袋上一节中，我们已经发现 p53 的 Phe19、Leu22、Trp23 和 Leu26 与 Mdmx 存在较多接触。