德国 Aleph Alpha 在十月三号,德国统一日那天,开源了一个叫 Kolibri 的模型。蜂鸟,名字起得挺应景,78B 的体格,每次推理只扇动 3.46B 的参数。
这组数字一亮相,很多人第一反应是捡到便宜了。总参数 78.1B,每次前向只激活 3.46B,不到总体的百分之四点五。有人干脆把它当成一个 3.46B 的稠密模型看,寻思着弄张小卡就能跑起来。
这么想是要吃亏的。
MoE 的稀疏激活,省的是算力,不是显存。那 78B 权重一兆不少地躺在显存里,一张小卡塞不下。官方给的最小配置是两张 A100 80G,或者一张 H200。显存账单按 78B 结,算力账单按 3.46B 结,两本账不能混着算。
它这 78B 怎么分出来的也有门道。五十层全是 MoE 层,每层 384 个专家,路由给每个 token 挑六个专家,外加一个共享专家。专家分得越细,单次前向动用的部分就越少。这么设计,才能把总容量做大,同时把单次成本压下去。

这正好戳中选型里最典型的误区,把激活参数量当成推理成本的全部。激活参数只决定一次前向要算多少浮点运算,可显存、KV Cache、权重的搬运,一样都躲不掉。Kolibri 用 FP8 把权重压到 78G 左右,已经算克制了。
它真正让我眼前一亮的是注意力设计。五十层里十层走全注意力,剩下四十层用 512 的滑窗。长上下文最让人头疼的平方级注意力成本,被砍掉一大半。再叠上一百万的上下文窗口,把整份案卷丢进去是能落地的。不过官方建议日常别超二十六万,一百万是天花板,不是常驻值。
license 用的是 Apache 2.0,这点很实在。权重直接放出来,能查、能改、能自托管,不用哪天供应商改条款你就被动。对政府、银行、医院这类数据不能出门的客户,这一条比任何跑分都有说服力。
还有一点容易被忽略,它德语语料占了预训练的两成以上,是个正经的双语模型。推理模式给了四档,从不用思考到高强度思考,工具调用也内置了。欧洲那边合规和主权要求严,这种土生土长的模型对他们有天然吸引力。
真到了自己部署那一步,麻烦才刚开始。推理服务对外要暴露 API,就得挂 HTTPS。证书申请、续期、到期前半夜爬起来抢救,这套流程比调参数还磨人。我现在把这摊子交给自动化,像 lcjmSSL 那种多域名、泛域名证书一次配齐,续期走轻量 API 全自动,到期事故基本杜绝。选型省下的那点精力,可别又赔进证书运维里。
再说 benchmark。AIME 2025 拿了 96.9,GPQA diamond 84.3,看着挺唬人,可全是厂商自己 harness 跑的,对手也是他们挑的。这些数字先收着,等独立评测出来再当真。
选型落到最后就一句话,看激活参数估算力,看总参数估显存,别把这两件事拧成一件。