【boost_search搜索引擎】1.获取数据源

boost搜索引擎

1、项目介绍

boost_search项目和百度那种不一样,百度是全站搜索,而boost_search是一个站内搜索。而项目的宏观上实现思路就如同图上的思路。

2、获取数据源

我们要实现一个站内搜索,我们就要有这个网站的数据源,我们可以从boost.org官网获取它的数据源

我们点击下载,进入到这个界面,直接下载它的压缩包

下载后之后,我们将它存到我们的Linux服务器上,这里我们可以通过
rz -E 命令将我们Windows上的文件传输到Xshell上,这里我选择创建一个data目录,将我们的boost压缩包解压的内容放进去。

这里如果出现乱码,我们就只用rz 命令,

  • 然后我们使用: tar -xzf boost_1_84_0.tar.gz 命令进行解压
  • 然后我们进入boost目录/doc/html,
    这里面的就是我们要的数据源,(因为我们最终搜索出来的是个网站,所以我们只需要它的html即可)我们将这个目录下的文件拷贝进我们的data目录下即可
  • 我们用cp -rf boost_1_84_0/doc/html/* html/拷贝进我的html目录下
    (html是我在data目录下提前创建好的目录)
    这样我们就拿到了我们制作搜索引擎 需要的数据源
相关推荐
码上上班9 小时前
Elasticsearch课程
大数据·elasticsearch·搜索引擎
Achou.Wang11 小时前
《从零实现cobra》手写一个 mini 版 Cobra
大数据·elasticsearch·搜索引擎
TlSfoward1 天前
TLSFOWARD TLS指纹
开发语言·数据库·爬虫·搜索引擎·https·php
言乐62 天前
Python实现基本搜索引擎
java·linux·开发语言·python·搜索引擎
冬奇Lab2 天前
开源项目第163期:wigolo — 零 API Key、零费用的本地优先 Agent 网络搜索工具,对比 Tavily/Exa/Firecrawl
人工智能·搜索引擎·开源
五条凪3 天前
简单理解 BM25 与 TF-IDF
人工智能·算法·搜索引擎·全文检索·tf-idf
科技大视界3 天前
四川第柒帧文化传播有限公司简介:AIGC影视、TVC广告、文旅品牌宣传与人才培养
搜索引擎·aigc
TlSfoward3 天前
爬虫指纹漂移监控与回归测试:JA3/JA4 变化为什么会影响线上验证 TLSFOWARD
数据库·爬虫·网络协议·搜索引擎
温柔过期啦3 天前
网站改了标题但是搜索引擎却没改?怎么样才能快速更新?
前端·搜索引擎·百度
小小放舟、3 天前
Windows 本地安装 Elasticsearch 8.10.0 与 IK 分词器(2026)
java·大数据·windows·spring boot·elasticsearch·搜索引擎·全文检索