基于AIGC构建本地知识库问答 - 文本切割粒度考量

粗粒度的文本被检索出来之后给大模型参考,大模型总会被文本中的无关信息干扰; 而细粒度的文本,检索出来的信息可能不全,缺少上下文信息,导致大模型没法给出正确答案。那么在工程中如何平衡切割文本的长短呢?

一、背景

使用AIGC构建本地知识库的其中一个步骤就是切割文本(chunk),其中一个核心的参数便是控制文本切割的粒度,这直接关系到Q&A环节的回答质量。

粗粒度的文本被检索出来之后给大模型参考,大模型总会被文本中的无关信息干扰; 而细粒度的文本,检索出来的信息可能不全,缺少上下文信息,导致大模型没法给出正确答案。那么在工程中如何平衡切割文本的长短呢?

二、基本准则

首先,以你使用的Text模型的最大上下文Token为上限,比如使用GPT-4K模型,那么文本切分粒度天然限制就不能超过4K,大模型根本就无法接受超过最大Token限制的文本内容,这是上限!那么最小是多少?为了保证检索出来的信息是完整的,确保有足够的上下文,从以往的经验来看,不能少过50-100 Token吧,不然大模型也没办法给出准确的答案。

那么再100-大模型Token上限的这个范围,如何具体确定你的切割粒度?那这个又跟你的Q&A期望相关了。如果你是做检索类型的任务,期待查询的返回是500字以内的反馈,那么400-600的Token切割数量是合适的。如果是你是做总结类型的任务,那么切片要大一点比较好,比如500,1000Token数量,这样才能归纳总结的全面准确一点。

三、其它考量

  • 考虑上下文:确保即使在细粒度的文本中,也要保存足够的上下文信息。例如,如果你选择句子为单位,那么可能考虑将前后的句子也加入,形成一个段落,以便为大模型提供上下文。

  • 采用动态窗口:在检索时,可以采用动态的窗口大小,即根据检索到的关键信息动态调整文本切割的范围。这样可以确保即使在细粒度中也能提供足够的上下文。

结合多粒度策略:在检索或其他任务中,可以考虑同时使用多个文本粒度。例如,首先使用粗粒度获取大致的范围,然后在该范围内使用细粒度进一步检索。

四、总结

基于基本准则和其它考量因素,较好的办法是"调试",通过调整切割文本粒度,验证问题得出答案的准确性,匹配适合你提供的知识域的切割粒度,即不同的知识域应该给予相匹配的文本切割粒度。

相关推荐
2301_767113988 小时前
GPT-6.2 Astra 和 Sol 发布:真正变化的是长任务成本与交付方式
gpt
LV技术派11 小时前
肝了一周,我把 Super Agent 的架构融入到了我的 AI Native 工作台中
aigc·ai编程
stormzhangV13 小时前
Google 重返第一梯队
人工智能·google·aigc
zdr尽职尽责16 小时前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
小虎AI生活16 小时前
8万星开源HyperFrames,我用WorkBuddy免费模型做了3条视频
aigc·ai编程
一缕82年的清风1 天前
OpenAI 突发 GPT-6.2:Sol 提速 8 倍跑分追平旗舰,但这 1 处暗改会让缓存直接失效!
gpt·chatgpt
ZhengEnCi1 天前
AI 读不懂你的代码怎么办:用高价值注释消除曲解、过度优化与上下文膨胀
aigc·ai编程
爱查宝小二1 天前
爱查宝降AIGC效果实测与过检能力展示
aigc
回眸&啤酒鸭2 天前
【回眸】GPT-6.1 Sol 新手快速上手指南
gpt
花椒技术2 天前
从“实时生成游戏”出发,我们用 AI 做了四次游戏开发尝试
人工智能·aigc·游戏开发