【boost_search搜索引擎】1.获取数据源

boost搜索引擎

1、项目介绍

boost_search项目和百度那种不一样,百度是全站搜索,而boost_search是一个站内搜索。而项目的宏观上实现思路就如同图上的思路。

2、获取数据源

我们要实现一个站内搜索,我们就要有这个网站的数据源,我们可以从boost.org官网获取它的数据源

我们点击下载,进入到这个界面,直接下载它的压缩包

下载后之后,我们将它存到我们的Linux服务器上,这里我们可以通过
rz -E 命令将我们Windows上的文件传输到Xshell上,这里我选择创建一个data目录,将我们的boost压缩包解压的内容放进去。

这里如果出现乱码,我们就只用rz 命令,

  • 然后我们使用: tar -xzf boost_1_84_0.tar.gz 命令进行解压
  • 然后我们进入boost目录/doc/html,
    这里面的就是我们要的数据源,(因为我们最终搜索出来的是个网站,所以我们只需要它的html即可)我们将这个目录下的文件拷贝进我们的data目录下即可
  • 我们用cp -rf boost_1_84_0/doc/html/* html/拷贝进我的html目录下
    (html是我在data目录下提前创建好的目录)
    这样我们就拿到了我们制作搜索引擎 需要的数据源
相关推荐
wuyk5552 小时前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
wuyk5554 小时前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
dozenyaoyida17 小时前
AI与大模型新闻日报 | 2026-11-08
人工智能·搜索引擎·ai·大模型·新闻
喵个咪5 天前
GoWind CMS 拆解:搜索三板斧——高亮、联想、同义词
后端·搜索引擎·go
Elastic 中国社区官方博客5 天前
更少的位数,相同的召回率:DiskBBQ 更保守的自动校准扫描
大数据·运维·开发语言·人工智能·elasticsearch·搜索引擎
翊众建站12 天前
用 JSON-LD 给企业官网做结构化数据:LocalBusiness 与 FAQPage 实践笔记
人工智能·搜索引擎·json
fengye20716112 天前
第三章 编译cpython
大数据·elasticsearch·搜索引擎
Elastic 中国社区官方博客12 天前
AgentHack Shanghai|基于阿里云AI搜索 Elasticsearch x Qoder 构建AI Agent应用
大数据·人工智能·elasticsearch·搜索引擎·阿里云·云计算·全文检索
真上帝的左手12 天前
30. 技术专题-‌应用框架组件-搜索引擎-ES
大数据·分布式·elasticsearch·搜索引擎·中间件
极限实验室13 天前
Easysearch 布尔查询子句重排序(二)|ConjunctionDISI 按 cost 排序源码解析
后端·搜索引擎·性能优化