postgresql中文分词插件安装

1.SCWS

要使用 zhparser,首先需要安装 SCWS 分词库,SCWS 是 Simple Chinese Word Segmentation 的首字母缩写(即:简易中文分词系统)GitHub

http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2

复制代码
./configure 
make install

2.Zhparser

GitHub - amutu/zhparser: zhparser is a PostgreSQL extension for full-text search of Chinese language

复制代码
 make && make install
遇到:pgxs.mk: 没有那个文件或目录,安装postgres-devel包
找不到pg_config:可以指定PG_CONFG=/usr/pgsql-14/bin/pg_config make

3.postgresql中文检索配置

登录postgresql启用zhparser插件

create extension zhparser;

创建使用zhparser作为解析器的全文搜索的配置

-- 就是需要给zhparser解析器取一个在sql里面可以使用的名称,一下"zh"则为名称 CREATE create text search configuration chinese (parser=zhparser);

添加token映射

alter text search configuration chinese add mapping for a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t,u,v,w,x,y,z with simple;

4、全文检索使用

索引创建

create index idx_name on table_name using gin(to_tsvector('zh', field_name));

查询

SELECT * FROM table_name WHERE to_tsvector('zh', field_name) @@ 'keyword';

相关推荐
natide4 小时前
表示/嵌入差异-7-间隔/边际对齐(Alignment Margin)
人工智能·深度学习·算法·机器学习·自然语言处理·知识图谱
玄同7657 小时前
Python 装饰器:LLM API 的安全与可观测性增强
开发语言·人工智能·python·安全·自然语言处理·numpy·装饰器
小陈phd8 小时前
大语言模型实战(九)——从零到一:搭建基于 MCP 的 RAG 系统完整教程
人工智能·语言模型·自然语言处理
wa的一声哭了10 小时前
矩阵分析 方阵幂级数与方阵函数
人工智能·python·线性代数·算法·自然语言处理·矩阵·django
玄同76512 小时前
Python 异常捕获与处理:从基础语法到工程化实践的万字深度指南
开发语言·人工智能·python·自然语言处理·正则表达式·nlp·知识图谱
大模型任我行12 小时前
电信:Agent记忆管理决策理论框架DAM
人工智能·语言模型·自然语言处理·论文笔记
renhongxia114 小时前
一个多智能体Text2SQL框架,使用小语言模型和执行反馈
人工智能·语言模型·自然语言处理
Kakaxiii14 小时前
【2025.6 Nature】Large language models for disease diagnosis: a scoping review
人工智能·语言模型·自然语言处理
2401_8414956414 小时前
自然语言处理实战——基于BP神经网络的命名实体识别
人工智能·python·神经网络·算法·机器学习·自然语言处理·命名实体识别
极客BIM工作室14 小时前
AI导读AI论文: FinGPT: Open-Source Financial Large Language Models
人工智能·语言模型·自然语言处理