搜索引擎项目

C++基于正倒排索引的Boost搜索引擎 1

Boost搜索引擎项目

1.项目背景

2.搜索引擎的相关宏观原理

3.搜索引擎技术栈和项目环境

4.正排索引 VS 倒排索引 - 搜索引擎具体原理

5.编写数据去标签与数据清洗的模块Parser

6.编写建立索引的模块Index

7.编写搜索引擎模块

8.编写http_server模块

9.编写前端模块

项目背景

-- 公司:百度,搜狗,360............==>自己不可能实现

-- 站内搜索: cplusplus.com..... ==>搜索的数据更垂直,数据量小

eg.网页搜索

++网页title (可点击跳转)--超链接++

网页的摘要描述

即将跳转的网址

百度可以直接出售关键字 ==>竞价排名 -- 广告

项目宏观原理

客户端 pc/手机---------------------------server(服务器)------------------------------------全 网

浏览器 searcher(服务软件)

http请求的方式进行搜索任务 爬虫 <------------

------->

通过GET的方式上传搜索关键字

< ------------

拼接多个网页的title+desc+url,构建一个新网页,返回网络用户

客户端 pc/手机,server(服务器),全 网

浏览器在客户端中,内存与data/*.html在server(服务器)中,searcher(服务软件)在内存中,

浏览器,经过http请求的方式进行搜索任务,通过get的方式上传搜索关键字,到服务软件

服务软件需要绑定端口,检索,索引得到相关html

服务软件,拼接多个网页的title+desc+url,构建一个新的网页,返回网络用户,浏览器

从全网大量抓取网页,通过爬虫程序抓取到 data/*.html中保存

在data/*.html中进行 1.去标签&&数据清洗 2.建立索引 --->加速查找

搜索引擎技术栈与项目环境

技术栈:

C/C++ C++11 STL 准标准库Boost(文件处理) Jsoncpp(数据交换) cppjieba(切分词) cpphttplib(开源库,http服务器)

(前端) html5 CSS JS JQuery Ajax(发送请求)

项目环境:

Centos7云服务器 vim/gcc(g++)/Makefile vs2019/vs code

相关推荐
西西弗Sisyphus37 分钟前
C++ explicit 关键字工程实践
开发语言·c++
火山引擎和TA的超级拍档们2 小时前
产品情报局 11 | AI 数据湖 LAS:打造大模型时代多模态数据底座
前端·后端
JavaGuide2 小时前
Gemini 真的变强了,写代码做视频的能力接近 Claude Opus5.5 了!
前端·ai编程
niceyayale2 小时前
WebRTC 延迟怎么调试:从 ICE 到 jitter buffer 的六个观测点
前端
aleimu2 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
tryCbest3 小时前
Vue系列——第 20 篇:Vue Router 4——路由管理完全指南(上)
前端·javascript·vue.js
feixing_fx3 小时前
原始类型与引用类型:赋值时到底复制了什么
开发语言·前端·javascript·前端框架
一条破秋裤3 小时前
【1115】【多线程】【笔记】
前端·chrome·笔记
黑十3 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Funlang3 小时前
在 Windows 95 上写前端
前端·javascript·windows