PostgreSQL 安装中文全文检索插件zhparser扩展

背景

RAG系统中,单一检索方式有局限:

  • 向量搜索 :理解语义,但可能遗漏精确关键词匹配
  • 关键词搜索 :精确匹配,但无法理解语义
    混合搜索 结合两者优势,提升检索准确率。

所以在 PostgreSQL 中安装 zhparser 扩展,主要是为了解决中文分词的问题(因为 PostgreSQL 原生按空格分词,不适合中文)。

安装过程分为两步:先安装底层的分词库 SCWS,再安装 PostgreSQL 插件 zhparser

以下是基于 Linux (Ubuntu/Debian) 系统的详细安装步骤:


1. 安装依赖

首先确保系统中有编译工具和 PostgreSQL 服务端开发文件。如果没有查看

PostgreSQL 向量扩展插件pgvector安装


2. 安装 SCWS (中文分词库)

zhparser 依赖于 SCWS 库来执行实际的分词工作。

复制代码
cd /tmp
# 下载并解压 (请检查官网是否有更新版本)
wget https://github.com/hightman/scws/archive/refs/tags/1.2.3.tar.gz
tar -zxvf 1.2.3.tar.gz
cd scws-1.2.3

# 编译安装
./configure --prefix=/usr/local
make && sudo make install

3. 安装 zhparser 插件

复制代码
cd /tmp
git clone https://github.com/amutu/zhparser.git
cd zhparser

# 编译安装 (指定SCWS的安装路径)
# 如果configure报错,需要先运行 ./autogen.sh
make SCWS_HOME=/usr/local
make install SCWS_HOME=/usr/local

如果咩有git报错如下

出现 -bash: git: command not found 错误,说明你的 Linux 系统中没有安装 git 工具。

执行命令解决

复制代码
yum install git
验证安装是否成功
git --version

4. 在 PostgreSQL 数据库中启用

切换到 postgres 用户,在目标数据库中创建扩展。

在 SQL 交互界面中执行:

复制代码
-- 创建扩展
CREATE EXTENSION zhparser;

-- 1. 创建文本搜索配置,命名为 'zhparser',并指定使用 zhparser 解析器
CREATE TEXT SEARCH CONFIGURATION zhparser (PARSER = zhparser);

-- 2. 配置词性映射(告诉数据库哪些词性需要被索引)
-- 这里的 'simple' 是 PostgreSQL 内置的词典,负责处理(通常是转小写和去停用词)
ALTER TEXT SEARCH CONFIGURATION zhparser 
ADD MAPPING FOR n,v,a,i,e,l,j WITH simple;

测试如下

相关推荐
@insist1231 小时前
系统集成项目管理工程师-信息和文档管理
网络·数据库·软考·系统集成项目管理工程师·软考中项·软件水平考试
残 风3 小时前
PostgreSQL 存储机制详解
数据库·postgresql·开源·数据库开发
JacksonMx3 小时前
Java CompletableFuture 异步编程实战:从入门到架构师避坑指南
linux·数据库·python
tachibana24 小时前
性能指标的口径选择
数据库·人工智能·架构·大模型·llm
机器人梦想家4 小时前
具身机器人视觉服务的异步回调与并发控制
数据库·算法·机器人
小妖同学学AI5 小时前
开源向量数据库的王者:Milvus 深度解析,专为 AI 应用打造的云原生搜索引擎!
数据库·开源·milvus
l1258655 小时前
# RAG上线评估指标体系:六大核心指标与压测实战全解析
数据库·人工智能·python·mysql·langchain·milvus
ylj_dev6 小时前
从 0 构建 AI Workload Platform(四):从单机工作流内核到可靠控制面
docker·postgresql·架构·golang
Wang's Blog6 小时前
PostgreSQL笔记48: 全文检索与向量检索的对比与混合检索实践
笔记·postgresql·全文检索
一只鹿鹿鹿6 小时前
数据资产管理解决方案(Word文件)
大数据·数据库·安全·web安全·系统安全