技术栈
大模型基础概念
AI大佬的小弟
5 天前
推理优化
·
ai入门
·
大模型基础概念
·
投机解码
·
草稿模型
·
eagl
·
无损加速
大模型名词精讲21：投机解码（Speculative Decoding）
上一篇我们聊了模型量化，把模型从"巨无霸"压成了"小钢炮"。但即便模型压缩了，推理时还是一个字一个字地生成——每次生成都要跑一遍完整的70B参数，一个字都跑不掉。有没有办法让大模型"少干点活"？
AI大佬的小弟
12 天前
ai安全
·
ai入门
·
越狱攻击
·
红队测试
·
提示注入
·
大模型基础概念
·
redteaming
大模型名词精讲17：红队测试（Red Teaming）
不管对齐做得多好，总有人想方设法绕过安全限制，让AI做不该做的事。就像再坚固的锁，也挡不住专业的开锁匠。
AI大佬的小弟
13 天前
ai
·
multiagent
·
ai入门
·
大模型基础概念
·
智能体编排
·
大模型知识点
大模型名词精讲15：Agent Orchestrator（智能体编排器）
一群专业Agent组队干活，效率远超单打独斗。但问题来了：谁来决定任务怎么拆、谁干什么、干完了怎么汇总？如果没有人"指挥"，一群Agent就像没有项目经理的团队——各自为政、重复劳动、互相冲突，我们又该如何面对呐？
AI大佬的小弟
13 天前
多智能体
·
multiagent
·
langgraph
·
ai协作
·
ai入门
·
a2a
·
大模型基础概念
大模型名词精讲14：Multi-Agent（多智能体协作）
小伙伴们有没有想过一个更有趣的问题：如果一个Agent搞不定我们的任务，怎么办？就像现实中一样，一个人再厉害也干不过一个团队。让一个AI同时当研究员、分析师、编辑、审核员，就像让一个人同时干四个人的活——不是不行，但容易出错，而且质量参差不齐。
AI大佬的小弟
22 天前
llm
·
分词
·
token
·
bpe
·
大模型名词精讲
·
ai 入门
·
大模型基础概念
大模型名词精讲 02：Token
最近在收到不少小伙伴的留言，说看了很多大模型相关的文章，但每次看到 "Token" 这个词就一头雾水 —— 什么是 Token？为什么大模型都按 Token 收费？一个 Token 到底等于多少字？
我是有底线的