基于向量数据库搭建自己的搜索引擎

前言【基于chatbot】

厌倦了商业搜索引擎搜索引擎没完没了的广告，很多时候，只是需要精准高效地检索信息，而不是和商业广告"斗智斗勇"。以前主要是借助爬虫工具，而随着技术的进步，现在有了更多更方便的解决方案，向量数据库就是其中之一【chatGPT也需要它的支撑】。

环境搭建【工作环境为windows10，数据库环境为centos7】

在centos系统中，执行以下命令

复制代码

wget https://github.com/milvus-io/milvus/releases/download/v2.2.11/milvus-standalone-docker-compose.yml -O docker-compose.yml

启动向量数据库

复制代码

sudo docker-compose up -d 【-d是后台启动，第一次启动可以不加，有报错的话直接在命令行能看到】

ip和端口号，根据自己的实际情况做调整

下载代码

复制代码

git clone https://github.com/gitksqc/chatbot.git

安装python虚拟环境

复制代码

python -m venv venvtest

安装模块

复制代码

 # 配置国内镜像 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple # 命令行进入到代码所在目录 pip install -r requirements.txt

准备数据集【可以自己用爬虫做数据集】

复制代码

# 我这里选的是新闻数据集做测试，可以根据自己情况选择https://www.kaggle.com/datasets/ceshine/yet-another-chinese-news-dataset

下载模型

复制代码

# 需要合理的上网工具，将模型及配置文件拷贝到项目根目录下的shibing624/text2vec-base-chinese目录中https://huggingface.co/shibing624/text2vec-base-chinese

导入数据

复制代码

# 将下载的新闻数据集拷贝到项目根目录下news_collection.csv# 在项目根目录下执行insert.py脚本，等待执行结束python insert.py

运行项目

复制代码

# 激活虚拟环境.\venvtest\Scripts\Activate.ps1
# 启动服务 uvicorn main:app --reload

搜索

到此就结束了，有问题可以留言或私信。