技术栈
eagl
AI大佬的小弟
3 小时前
推理优化
·
ai入门
·
大模型基础概念
·
投机解码
·
草稿模型
·
eagl
·
无损加速
大模型名词精讲21：投机解码（Speculative Decoding）
上一篇我们聊了模型量化，把模型从"巨无霸"压成了"小钢炮"。但即便模型压缩了，推理时还是一个字一个字地生成——每次生成都要跑一遍完整的70B参数，一个字都跑不掉。有没有办法让大模型"少干点活"？
我是有底线的