postgresql中文分词插件安装

1.SCWS

要使用 zhparser,首先需要安装 SCWS 分词库,SCWS 是 Simple Chinese Word Segmentation 的首字母缩写(即:简易中文分词系统)GitHub

http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2

复制代码
./configure 
make install

2.Zhparser

GitHub - amutu/zhparser: zhparser is a PostgreSQL extension for full-text search of Chinese language

复制代码
 make && make install
遇到:pgxs.mk: 没有那个文件或目录,安装postgres-devel包
找不到pg_config:可以指定PG_CONFG=/usr/pgsql-14/bin/pg_config make

3.postgresql中文检索配置

登录postgresql启用zhparser插件

create extension zhparser;

创建使用zhparser作为解析器的全文搜索的配置

-- 就是需要给zhparser解析器取一个在sql里面可以使用的名称,一下"zh"则为名称 CREATE create text search configuration chinese (parser=zhparser);

添加token映射

alter text search configuration chinese add mapping for a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t,u,v,w,x,y,z with simple;

4、全文检索使用

索引创建

create index idx_name on table_name using gin(to_tsvector('zh', field_name));

查询

SELECT * FROM table_name WHERE to_tsvector('zh', field_name) @@ 'keyword';

相关推荐
Code_流苏4 小时前
《Python星球日记》 第69天:生成式模型(GPT 系列)
python·gpt·深度学习·机器学习·自然语言处理·transformer·生成式模型
想要成为计算机高手6 小时前
OpenVLA:开源的视觉-语言-动作模型
ai·自然语言处理·开源·大模型·视觉处理·openvla
Jamence8 小时前
多模态大语言模型arxiv论文略读(七十五)
人工智能·语言模型·自然语言处理
放飞自我的Coder8 小时前
【NLP 计算句子之间的BLEU和ROUGE分数】
人工智能·自然语言处理
Cloud Traveler12 小时前
从 “学会学习” 到高效适应:元学习技术深度解析与应用实践
人工智能·学习·自然语言处理
奇睿海14 小时前
NLP的基本流程概述
人工智能·自然语言处理
AI大模型顾潇15 小时前
[特殊字符] 本地大模型编程实战(29):用大语言模型LLM查询图数据库NEO4J(2)
前端·数据库·人工智能·语言模型·自然语言处理·prompt·neo4j
tongxianchao16 小时前
精简大语言模型:用于定制语言模型的自适应知识蒸馏
人工智能·语言模型·自然语言处理
mailangduoduo19 小时前
自然语言处理入门级项目——文本分类
自然语言处理·感知机·二分类
yu4106211 天前
2025年中期大语言模型实力深度剖析
人工智能·语言模型·自然语言处理