破局AI问答专有名词检索迷局:分词期神器强势登场!

有客户深度使用全文检索模式检索分段,反馈一些专有名词无法被检索到(例如把"小米手机"分成了"小米"和"手机"两个词,对检索结果造成较大干扰),而 MaxKB 的分词器采用流行的 jieba 库,确认了一个临时解决方案。

1、定义自定义字典

复制代码
cat /opt/my_dic.txt
 
小米手机 1000 n
苹果手机 1000 n

字典组成:{词语}空格{词频}空格{词性}

复制代码
示例:

小米手机 1000 n
小米手机:自定义词语
1000      :词频,越大优先级越高
n            :词性。名词 (n)、专有名词 (nz)、动词 (v)、形容词 (a)、副词 (d)

2、将自定义字典文件拷贝到容器中

复制代码
docker cp /opt/my_dic.txt maxkb:/opt/maxkb/app/apps/common/util/

3、split_model.py 引入自定义字典

复制代码
jieba.load_userdict('/opt/maxkb/app/apps/common/util/my_dic.txt')

4、测试验证

分段情况:

检索结果

相关推荐
哥布林学者6 分钟前
深度学习进阶(十四)ConvNeXt
机器学习·ai
垚森29 分钟前
VibePlayer v1.3.3 更新:全新 Logo + 修复音乐库高亮 Bug
ai·electron
码途漫谈1 小时前
Easy-Vibe开发篇阅读笔记(二)——前端开发之Figma与MasterGo入门
人工智能·笔记·ai·开源·ai编程·figma
Mr_sst1 小时前
infra-ai模块宏观设计解析:业务与模型之间的中间层核心架构
大数据·人工智能·ai·llama
笨蛋©1 小时前
[实战] 数字化质量管理中的检验计划提效指南:从手工气泡图到AI自动识别
ai·数字化·cad·质量管理·制造业
imbackneverdie2 小时前
sci期刊示意图、流程图、机制图怎么画?
人工智能·ai·aigc·科研绘图·ai工具·科研工具·ai生图
CoderJia程序员甲2 小时前
GitHub 热榜项目 - 日榜(2026-04-29)
ai·大模型·github·ai教程
程序员鱼皮2 小时前
我用 DeepSeek V4 + Claude Code 开发了个「提肛助手」,这波给我爽麻了。。。
ai·程序员·编程·ai编程·deepseek
Huang2601082 小时前
Producer Audios Generation API 集成指南
ai