破局AI问答专有名词检索迷局:分词期神器强势登场!

有客户深度使用全文检索模式检索分段,反馈一些专有名词无法被检索到(例如把"小米手机"分成了"小米"和"手机"两个词,对检索结果造成较大干扰),而 MaxKB 的分词器采用流行的 jieba 库,确认了一个临时解决方案。

1、定义自定义字典

复制代码
cat /opt/my_dic.txt
 
小米手机 1000 n
苹果手机 1000 n

字典组成:{词语}空格{词频}空格{词性}

复制代码
示例:

小米手机 1000 n
小米手机:自定义词语
1000      :词频,越大优先级越高
n            :词性。名词 (n)、专有名词 (nz)、动词 (v)、形容词 (a)、副词 (d)

2、将自定义字典文件拷贝到容器中

复制代码
docker cp /opt/my_dic.txt maxkb:/opt/maxkb/app/apps/common/util/

3、split_model.py 引入自定义字典

复制代码
jieba.load_userdict('/opt/maxkb/app/apps/common/util/my_dic.txt')

4、测试验证

分段情况:

检索结果

相关推荐
Elastic 中国社区官方博客几秒前
Elastic 9.3:与数据对话、构建自定义 AI agents、实现全自动化
大数据·人工智能·elasticsearch·搜索引擎·ai·自动化·全文检索
启友玩AI8 分钟前
方言守护者:基于启英泰伦CI-F162GS02J芯片的“能听懂乡音”的智能夜灯DIY全攻略
c语言·人工智能·嵌入式硬件·ai·语音识别·pcb工艺
vivo互联网技术2 小时前
Chat 模式是和 AI 最好的交互范式吗?
ai·人机交互·产品设计·ai交互设计·chat模式·意图信息密度
北杳同学2 小时前
Claude Code安装与初始化
ai·claude
啊阿狸不会拉杆3 小时前
《机器学习导论》第 1 章 - 引言
人工智能·python·算法·机器学习·ai·numpy·matplotlib
Elastic 中国社区官方博客3 小时前
Jina Rerankers 为 Elastic 推理服务(EIS)带来了快速、多语言的重排序能力
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索·jina
PorkCanteen3 小时前
Cursor使用-从问题到解决方案(以及一些通用rules)
前端·ai·ai编程
zlt20004 小时前
从Prompt工程到Skill工程:Agent Skills开放标准彻底改变了AI协作方式
人工智能·ai·agent skill
俊哥V4 小时前
AI一周事件(2026年01月28日-02月03日)
人工智能·ai
一杯原谅绿茶4 小时前
openclaw入门教程自用
ai