78B 只激活 3.46B,Kolibri 给模型选型上了一课

德国 Aleph Alpha 在十月三号,德国统一日那天,开源了一个叫 Kolibri 的模型。蜂鸟,名字起得挺应景,78B 的体格,每次推理只扇动 3.46B 的参数。

这组数字一亮相,很多人第一反应是捡到便宜了。总参数 78.1B,每次前向只激活 3.46B,不到总体的百分之四点五。有人干脆把它当成一个 3.46B 的稠密模型看,寻思着弄张小卡就能跑起来。

这么想是要吃亏的。

MoE 的稀疏激活,省的是算力,不是显存。那 78B 权重一兆不少地躺在显存里,一张小卡塞不下。官方给的最小配置是两张 A100 80G,或者一张 H200。显存账单按 78B 结,算力账单按 3.46B 结,两本账不能混着算。

它这 78B 怎么分出来的也有门道。五十层全是 MoE 层,每层 384 个专家,路由给每个 token 挑六个专家,外加一个共享专家。专家分得越细,单次前向动用的部分就越少。这么设计,才能把总容量做大,同时把单次成本压下去。

这正好戳中选型里最典型的误区,把激活参数量当成推理成本的全部。激活参数只决定一次前向要算多少浮点运算,可显存、KV Cache、权重的搬运,一样都躲不掉。Kolibri 用 FP8 把权重压到 78G 左右,已经算克制了。

它真正让我眼前一亮的是注意力设计。五十层里十层走全注意力,剩下四十层用 512 的滑窗。长上下文最让人头疼的平方级注意力成本,被砍掉一大半。再叠上一百万的上下文窗口,把整份案卷丢进去是能落地的。不过官方建议日常别超二十六万,一百万是天花板,不是常驻值。

license 用的是 Apache 2.0,这点很实在。权重直接放出来,能查、能改、能自托管,不用哪天供应商改条款你就被动。对政府、银行、医院这类数据不能出门的客户,这一条比任何跑分都有说服力。

还有一点容易被忽略,它德语语料占了预训练的两成以上,是个正经的双语模型。推理模式给了四档,从不用思考到高强度思考,工具调用也内置了。欧洲那边合规和主权要求严,这种土生土长的模型对他们有天然吸引力。

真到了自己部署那一步,麻烦才刚开始。推理服务对外要暴露 API,就得挂 HTTPS。证书申请、续期、到期前半夜爬起来抢救,这套流程比调参数还磨人。我现在把这摊子交给自动化,像 lcjmSSL 那种多域名、泛域名证书一次配齐,续期走轻量 API 全自动,到期事故基本杜绝。选型省下的那点精力,可别又赔进证书运维里。

再说 benchmark。AIME 2025 拿了 96.9,GPQA diamond 84.3,看着挺唬人,可全是厂商自己 harness 跑的,对手也是他们挑的。这些数字先收着,等独立评测出来再当真。

选型落到最后就一句话,看激活参数估算力,看总参数估显存,别把这两件事拧成一件。

相关推荐
AllData公司负责人20 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
数字新视界20 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术20 小时前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和20 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能
猿人谷20 小时前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
字节跳动开源20 小时前
OpenViking 3D理解模型上线轴测八视图及PMI解析
人工智能·开源·aigc
阿里云大数据AI技术20 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
code2cat21 小时前
【随笔】MCP长任务:查询已经返回,为什么任务还没有完成
javascript·人工智能·后端·mcp
玄魂21 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·agent·视觉设计
Zwawa21 小时前
陀螺仪数据为什么看起来总在动:零偏、噪声和零漂
c语言·单片机·嵌入式