postgresql中文分词插件安装

1.SCWS

要使用 zhparser,首先需要安装 SCWS 分词库,SCWS 是 Simple Chinese Word Segmentation 的首字母缩写(即:简易中文分词系统)GitHub

http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2

复制代码
./configure 
make install

2.Zhparser

GitHub - amutu/zhparser: zhparser is a PostgreSQL extension for full-text search of Chinese language

复制代码
 make && make install
遇到:pgxs.mk: 没有那个文件或目录,安装postgres-devel包
找不到pg_config:可以指定PG_CONFG=/usr/pgsql-14/bin/pg_config make

3.postgresql中文检索配置

登录postgresql启用zhparser插件

create extension zhparser;

创建使用zhparser作为解析器的全文搜索的配置

-- 就是需要给zhparser解析器取一个在sql里面可以使用的名称,一下"zh"则为名称 CREATE create text search configuration chinese (parser=zhparser);

添加token映射

alter text search configuration chinese add mapping for a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t,u,v,w,x,y,z with simple;

4、全文检索使用

索引创建

create index idx_name on table_name using gin(to_tsvector('zh', field_name));

查询

SELECT * FROM table_name WHERE to_tsvector('zh', field_name) @@ 'keyword';

相关推荐
翱翔的苍鹰1 天前
大语言模型发展历程
人工智能·语言模型·自然语言处理
陈天伟教授1 天前
人工智能应用- 语言理解:08.大语言模型
人工智能·语言模型·自然语言处理
m0_603888711 天前
Language Models Struggle to Use Representations Learned In-Context
人工智能·ai·语言模型·自然语言处理·论文速览
凸头1 天前
PostgreSQL 16 中文分词插件 zhparser 在 Windows 11 上的编译与安装
windows·postgresql·中文分词
赋创小助手1 天前
NVIDIA B200 GPU 技术解读:Blackwell 架构带来了哪些真实变化?
运维·服务器·人工智能·深度学习·计算机视觉·自然语言处理·架构
玄同7651 天前
LangChain 1.0 框架全面解析:从架构到实践
人工智能·深度学习·自然语言处理·中间件·架构·langchain·rag
Rabbit_QL1 天前
【NLP学习】IMDB 情感分类实战:Word2Vec + 逻辑回归完整解析
学习·自然语言处理·分类
Allen_LVyingbo1 天前
医疗AI新范式:当数理模型开始“计算”生命,传统大模型面临重构(中)
开发语言·人工智能·python·自然语言处理·重构·知识图谱
jasligea2 天前
构建个人智能助手
开发语言·python·自然语言处理
2301_764441332 天前
基于paCy模型与jsoncrack进行依存句法分析
python·算法·自然语言处理