postgresql中文分词插件安装

1.SCWS

要使用 zhparser,首先需要安装 SCWS 分词库,SCWS 是 Simple Chinese Word Segmentation 的首字母缩写(即:简易中文分词系统)GitHub

http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2

复制代码
./configure 
make install

2.Zhparser

GitHub - amutu/zhparser: zhparser is a PostgreSQL extension for full-text search of Chinese language

复制代码
 make && make install
遇到:pgxs.mk: 没有那个文件或目录,安装postgres-devel包
找不到pg_config:可以指定PG_CONFG=/usr/pgsql-14/bin/pg_config make

3.postgresql中文检索配置

登录postgresql启用zhparser插件

create extension zhparser;

创建使用zhparser作为解析器的全文搜索的配置

-- 就是需要给zhparser解析器取一个在sql里面可以使用的名称,一下"zh"则为名称 CREATE create text search configuration chinese (parser=zhparser);

添加token映射

alter text search configuration chinese add mapping for a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t,u,v,w,x,y,z with simple;

4、全文检索使用

索引创建

create index idx_name on table_name using gin(to_tsvector('zh', field_name));

查询

SELECT * FROM table_name WHERE to_tsvector('zh', field_name) @@ 'keyword';

相关推荐
丁学文武10 小时前
大语言模型(LLM)是“预制菜”? 从应用到底层原理,在到中央厨房的深度解析
人工智能·语言模型·自然语言处理·大语言模型·大模型应用·预制菜
JAVA学习通14 小时前
发布自己的 jar 包到 Maven 中央仓库 ( mvnrepository.com )
人工智能·docker·自然语言处理·容器·rocketmq
lianyinghhh15 小时前
瓦力机器人-舵机控制(基于树莓派5)
人工智能·python·自然语言处理·硬件工程
PKNLP18 小时前
NLP入门
人工智能·自然语言处理
余衫马18 小时前
大语言模型(LLM)领域细分方向解析
人工智能·语言模型·自然语言处理·llm·领域方向
小关会打代码18 小时前
自然语言处理(NLP)之分词
人工智能·自然语言处理
AI新兵18 小时前
AI大事记12:Transformer 架构——重塑 NLP 的革命性技术(中)
人工智能·自然语言处理·transformer
开放知识图谱19 小时前
论文浅尝 | 基于知识的视觉问答中模态感知与大语言模型的集成(ACL2024)
人工智能·语言模型·自然语言处理
赴33519 小时前
LSTM自然语言处理情感分析项目(四)整合调用各类与方法形成主程序
人工智能·自然语言处理·lstm
赴33519 小时前
LSTM自然语言处理情感分析项目(三)定义模型结构与模型训练评估测试
人工智能·自然语言处理·lstm