大模型的召回率

召回率

什么是召回率:大模型在回答问题时,需要从知识库中提取相关信息进行分析,从超大数据量的知识库中提取有效的能力就叫召回率,召回率越高说明提取有效信息的能力越强,否则越弱。

为什么会有召回率:因为知识库的数据量及其庞大,且大模型的信息处理能力非常有限,单次仅能处理几万十几万字符的数据量,所以必须找到与查询问题关联度最高的信息来输入给大模型进行处理,否则就无法有效利用知识库信息。

优点是什么:优点是可以大幅降低注入大模型的信息量从而降级计算成本,提高处理效率。

缺点是什么:缺点是由于召回的信息量有限制,注入大模型的信息不足,信息完整度不足,从而导致输出的分析不全面、不完整,从而得出错误结论。

如何解决召回缺点带来的问题:首先是增加召回数量上限,比如dify中的召回片段数topK最大只有10,也就是最多只能召回10个片段的切片信息注入到大模型中进行处理,很明显大量的场景需要注入的信息量都远远大于这个上限,缺点是计算成本会上升。其次是保证召回信息的准确度,确保召回的信息是与查询的问题高度关联的信息,而不会将关联度低的信息注入大模型形成噪音,从而导致分析结果偏离实际预期。

相关推荐
知几蜗牛2 分钟前
4万星的Agent技能提醒我们:答案太全也可能不可用
人工智能
智购科技无人售货机工厂2 分钟前
2026自动售货机AI智能体架构:从47个小模型到33.7亿Token的工程实践~YH
android·人工智能·驱动开发·单片机·pandas
Geek-Chow4 分钟前
09. LLM 接缝:把“厂商协议“关进一个可替换的盒子
人工智能
麻瓜code4 分钟前
【Agent】从 0 手写智能体框架:ReAct + ToolCall 分层设计
人工智能·spring
来了就不要走9 分钟前
亿数平台怎么样:亿象生态与数实融合路径观察
大数据·人工智能·区块链
知几蜗牛11 分钟前
流式JSON为什么总报错?理解结构化输出就能接稳AI接口
人工智能
Zentceh12 分钟前
AI-ISP vs 传统ISP全面对比
人工智能·深度学习·计算机视觉·车载系统·transformer·无人机·智能硬件
知几蜗牛13 分钟前
AI代码评审开始跑测试,真正该升级的是团队证据链
人工智能
魔镜er13 分钟前
11-循环神经网络
人工智能·pytorch·python·深度学习·神经网络
海宇AI15 分钟前
零信任架构实战:基于海宇公安二要素认证即时版构建自动化灵活用工准入网关
运维·人工智能·架构·自动化