78B 只激活 3.46B,Kolibri 给模型选型上了一课

德国 Aleph Alpha 在十月三号,德国统一日那天,开源了一个叫 Kolibri 的模型。蜂鸟,名字起得挺应景,78B 的体格,每次推理只扇动 3.46B 的参数。

这组数字一亮相,很多人第一反应是捡到便宜了。总参数 78.1B,每次前向只激活 3.46B,不到总体的百分之四点五。有人干脆把它当成一个 3.46B 的稠密模型看,寻思着弄张小卡就能跑起来。

这么想是要吃亏的。

MoE 的稀疏激活,省的是算力,不是显存。那 78B 权重一兆不少地躺在显存里,一张小卡塞不下。官方给的最小配置是两张 A100 80G,或者一张 H200。显存账单按 78B 结,算力账单按 3.46B 结,两本账不能混着算。

它这 78B 怎么分出来的也有门道。五十层全是 MoE 层,每层 384 个专家,路由给每个 token 挑六个专家,外加一个共享专家。专家分得越细,单次前向动用的部分就越少。这么设计,才能把总容量做大,同时把单次成本压下去。

这正好戳中选型里最典型的误区,把激活参数量当成推理成本的全部。激活参数只决定一次前向要算多少浮点运算,可显存、KV Cache、权重的搬运,一样都躲不掉。Kolibri 用 FP8 把权重压到 78G 左右,已经算克制了。

它真正让我眼前一亮的是注意力设计。五十层里十层走全注意力,剩下四十层用 512 的滑窗。长上下文最让人头疼的平方级注意力成本,被砍掉一大半。再叠上一百万的上下文窗口,把整份案卷丢进去是能落地的。不过官方建议日常别超二十六万,一百万是天花板,不是常驻值。

license 用的是 Apache 2.0,这点很实在。权重直接放出来,能查、能改、能自托管,不用哪天供应商改条款你就被动。对政府、银行、医院这类数据不能出门的客户,这一条比任何跑分都有说服力。

还有一点容易被忽略,它德语语料占了预训练的两成以上,是个正经的双语模型。推理模式给了四档,从不用思考到高强度思考,工具调用也内置了。欧洲那边合规和主权要求严,这种土生土长的模型对他们有天然吸引力。

真到了自己部署那一步,麻烦才刚开始。推理服务对外要暴露 API,就得挂 HTTPS。证书申请、续期、到期前半夜爬起来抢救,这套流程比调参数还磨人。我现在把这摊子交给自动化,像 lcjmSSL 那种多域名、泛域名证书一次配齐,续期走轻量 API 全自动,到期事故基本杜绝。选型省下的那点精力,可别又赔进证书运维里。

再说 benchmark。AIME 2025 拿了 96.9,GPQA diamond 84.3,看着挺唬人,可全是厂商自己 harness 跑的,对手也是他们挑的。这些数字先收着,等独立评测出来再当真。

选型落到最后就一句话,看激活参数估算力,看总参数估显存,别把这两件事拧成一件。

相关推荐
恒锐丰科技林技术员1 小时前
大电流同步降压 DC‑DC 芯片 EG11732 解析
经验分享·嵌入式硬件·硬件工程
玩美数据1 小时前
全球数据分析服务竞争态势与战略机遇深度解读
大数据·人工智能
路上有只喵1 小时前
认识元器件 · 单片机(MCU/MPU/SOC) · 规格书解读1
单片机·嵌入式硬件
Maynor9961 小时前
AI 表情包/热梗视频工具怎么选:RemixMeme 对比通用 AI 视频|remixmeme.com
人工智能·ai·短视频·tiktok·ai视频·表情包·remixmeme
老木避暑研究所1 小时前
负氧离子数据的采集、清洗与可视化:一套可复用的环境监测数据分析模板
前端·人工智能·数据分析
2501_922639581 小时前
率能半导体 SS6810H双通道H桥驱动芯片:32V/1A,覆盖POS打印机、安防相机、办公自动化、舞台灯光四大应用场景
单片机·嵌入式硬件·机器人·硬件工程
AI领域分享1 小时前
批量做漫剧视频选什么工具?知漫剧多集任务实测
大数据·人工智能·音视频
霅昪忞昉1 小时前
DSP_28002x的SPI代码注释_文1
嵌入式硬件·dsp开发
Dola_Zou1 小时前
从二进制加固到离线鉴权 工业边缘AI安全防御架构
人工智能·安全·ai·架构·软件加密