
🔥草莓熊Lotso: 个人主页
❄️个人专栏: 《C++知识分享》 《Linux 入门到实践:零基础也能懂》
✨生活是默默的坚持,毅力是永久的享受!
🎬 博主简介:

文章目录
- 前言:
-
- 一、整体业务框架搭建
-
- [1.1 业务场景说明](#1.1 业务场景说明)
- [1.2 类结构设计](#1.2 类结构设计)
- 二、接口实现、源码解读与实战踩坑
-
- [2.1 ES客户端工厂 ESClientFactory](#2.1 ES客户端工厂 ESClientFactory)
- [2.2 createIndex 创建用户索引](#2.2 createIndex 创建用户索引)
- [2.3 appendData:新增/更新合一接口](#2.3 appendData:新增/更新合一接口)
- [2.4 search 用户检索接口](#2.4 search 用户检索接口)
- [2.5 重大踩坑:ES近实时搜索(写入后立刻查询结果为0)](#2.5 重大踩坑:ES近实时搜索(写入后立刻查询结果为0))
- [2.6 完整data_es.hpp最终源码](#2.6 完整data_es.hpp最终源码)
- [2.7 单元测试 main.cc](#2.7 单元测试 main.cc)
- [2.8 Makefile编译脚本](#2.8 Makefile编译脚本)
- 三、核心知识点总结
- 结尾:
前言:
在即时通讯项目里面,有一个很常见的业务需求:用户搜索 。用户输入昵称、手机号、用户ID,就要能够模糊或者精确检索其他用户,同时搜索结果要过滤掉自己和已经是好友的用户。如果直接在 MySQL 数据库做模糊查询,
like %xxx%的效率会非常差,数据量大的时候索引会失效,性能根本扛不住。所以我们引入 ElasticSearch(ES),把用户元数据同步一份到ES中,专门承担用户检索的工作。本篇就基于C++结合elasticlient客户端,完成ES索引创建、用户数据新增更新、用户搜索全套逻辑,同时记录开发踩坑细节。
一、整体业务框架搭建
1.1 业务场景说明
业务时机:用户注册成功后,除了写入MySQL,同时向ES存储一份用户元信息,专门用于用户搜索功能。
用户元信息字段:用户ID、用户昵称、手机号、签名、头像ID
搜索业务规则:
- 搜索关键字是字符串,可以是用户ID、手机号、昵称片段;
- 过滤规则:不能搜索到自己,也不能搜索到已有的好友,过滤条件传入一组需要排除的用户ID集合。
需要实现三大ES管理操作:
- 创建用户索引;
- 用户数据新增 / 更新(同一个ID存在就更新,不存在新增);
- 用户搜索:传入搜索关键字 + 需要过滤排除的用户ID列表,返回用户集合。
1.2 类结构设计
我们在项目common目录新建data_es.hpp,设计两个核心类:
ESClientFactory:ES客户端工厂,负责创建elasticlient客户端实例;ESUser:封装用户索引的全部操作,对外暴露三个核心成员函数:createIndex():构建user索引,定义各个字段类型;appendData():新增或者更新用户文档,同一个uid自动覆写;search():根据关键词+排除id列表,检索用户,返回User对象数组。
头文件初步框架:
#include"icsearch.hpp"
namespace bite_im {
class ESUser{
public:
ESUser(const std::shared_ptr<elasticlient::Client>&client):_es_client(client){}
void createIndex();
void appendData(const std::string &uid,
const std::string &phone,
const std::string &nickname,
const std::string &description,
const std::string &avatar_id);
std::vector<User> search(const std::string &key, std::vector<std::string> &uid_list);
private:
std::shared_ptr<elasticlient::Client>_es_client;
};
}
注意:
elasticlient是C++操作ES的第三方http客户端库,底层依赖cpr发送http请求和ES服务交互。
二、接口实现、源码解读与实战踩坑
2.1 ES客户端工厂 ESClientFactory
简单工厂模式,传入ES节点地址列表,返回客户端智能指针对象。
class ESClientFactory{
public:
static std::shared_ptr<elasticlient::Client> create(const std::vector<std::string> host_list){
return std::make_shared<elasticlient::Client>(host_list);
}
};
2.2 createIndex 创建用户索引
索引名称固定为user,这里要区分ES中两种字段类型:
-
keyword:精确匹配,不会分词,适合手机号、用户ID; -
text:会分词,可以模糊片段检索,适合昵称、个人签名。bool createIndex() {
bool ret = ESIndex(_es_client, "user")
.append("user_id", "keyword", "standard", true)
.append("nickname")
.append("phone", "keyword", "standard", true)
.append("description", "text", "standard", false)
.append("avatar_id", "keyword", "standard", false)
.create();
if (ret == false){
LOG_ERROR("用户信息索引创建失败!");
return false;
}
LOG_INFO("用户信息索引创建成功");
return true;
}
关键点解读:
user_id和phone设置为keyword,做精确匹配;搜索的时候访问phone.keyword;- nickname默认text类型,可以分词模糊搜索;
- 第四个布尔参数代表是否开启字段存储。
2.3 appendData:新增/更新合一接口
ES有个特性:插入文档的时候指定文档id,如果id已存在就是更新,不存在就是新增,所以我们一个接口同时实现新增和更新逻辑。
⚠️ 早期版本bug:曾经把nickname和phone参数顺序写反,导致存入ES的数据手机号和昵称颠倒,搜索结果异常,写代码一定要注意参数顺序!
bool appendData(const std::string &uid,
const std::string &nickname,
const std::string &phone,
const std::string &description,
const std::string &avatar_id){
bool ret = ESInsert(_es_client, "user")
.append("user_id", uid)
.append("nickname", nickname)
.append("phone", phone)
.append("description", description)
.append("avatar_id", avatar_id)
.insert(uid); // uid作为ES文档ID,实现存在更新,不存在新增
if (ret == false){
LOG_ERROR("用户数据插入/更新失败!");
return false;
}
LOG_INFO("用户数据新增/更新成功!");
return true;
}
2.4 search 用户检索接口
业务查询逻辑:
- should(或条件):关键词匹配
phone.keyword、user_id.keyword、nickname; - must_not(必须不匹配):过滤掉一组用户ID,实现排除自己和好友;
- 将返回的json数组结果,转换为业务层
User对象vector返回。
重要细节:入参
uid_list必须加const!C++中临时对象只能绑定const引用,如果不加const,测试的时候传入临时初始化的vector会编译报错。
std::vector<User> search(const std::string &key, const std::vector<std::string> &uid_list) {
std::vector<User> res;
Json::Value json_user = ESSearch(_es_client, "user")
.append_should_match("phone.keyword",key)
.append_should_match("user_id.keyword", key)
.append_should_match("nickname",key)
.append_must_not_terms("user_id.keyword", uid_list)
.search();
if (json_user.isArray()== false) {
LOG_ERROR("用户搜索结果为空,或者结果不是数组类型");
return res;
}
int sz = json_user.size();
LOG_DEBUG("检索结果条目数量:{}",sz);
for (int i=0;i<sz;i++) {
User user;
user.user_id(json_user[i]["_source"]["user_id"].asString());
user.nickname(json_user[i]["_source"]["nickname"].asString());
user.description(json_user[i]["_source"]["description"].asString());
user.phone(json_user[i]["_source"]["phone"].asString());
user.avatar_id(json_user[i]["_source"]["avatar_id"].asString());
res.push_back(user);
}
return res;
}
2.5 重大踩坑:ES近实时搜索(写入后立刻查询结果为0)
ES并不是写入文档立刻就可以检索到!ES是近实时搜索引擎,写入的数据默认1秒刷新到可搜索缓冲区,测试代码写入之后马上执行搜索,会拿到0条结果,但是在kibana控制台手动查询却可以查到数据。
解决办法:测试代码中插入数据后,sleep等待一段时间,给ES完成数据刷新的时间。
// 插入两条测试用户数据
es_user->appendData("用户ID1", "小猪佩奇", "手机号1", "这是一只小猪", "小猪头像1");
es_user->appendData("用户ID2", "小猪乔治", "手机号2", "这是一只小小猪", "小猪头像2");
// 等待10秒,等待ES完成数据刷新,生产环境不需要sleep
std::this_thread::sleep_for(std::chrono::seconds(10));
// 搜索小猪,过滤排除用户ID1
auto ret = es_user->search("小猪", {"用户ID1"});
⚠️ 注意:sleep仅仅用于单元测试,生产环境业务代码绝对不能sleep。生产业务下,用户注册后过一会才会去搜索,不会出现刚写完立刻搜的场景。
2.6 完整data_es.hpp最终源码
#include "icsearch.hpp"
#include "logger.hpp"
#include "../odb/user.hxx"
#include <elasticlient/client.h>
#include <json/value.h>
#include <memory>
#include <string>
#include <vector>
namespace lotso_im
{
const std::string user_key = "user_id";
const std::string nickname_key = "nickname";
const std::string phone_key = "phone";
const std::string description_key = "description";
const std::string avatar_key = "avatar_id";
class ESClientFactory
{
public:
static std::shared_ptr<elasticlient::Client> create(const std::vector<std::string> host_list)
{
return std::make_shared<elasticlient::Client>(host_list);
}
};
class ESUser
{
public:
using ptr = std::shared_ptr<ESUser>;
ESUser(const std::shared_ptr<elasticlient::Client> &client) : _es_client(client)
{}
bool createIndex()
{
bool ret = ESIndex(_es_client, "user")
.append(user_key, "keyword", "standard", true)
.append(nickname_key)
.append(phone_key, "keyword", "standard", true)
.append(description_key, "text", "standard", false)
.append(avatar_key, "keyword", "standard", false)
.create();
if(ret == false)
{
LOG_ERROR("用户信息索引创建失败!");
return false;
}
LOG_INFO("用户信息索引创建成功!");
return true;
}
bool appendData(const std::string &uid, const std::string &nickname,
const std::string &phone, const std::string &description, const std::string &avatar_id)
{
bool ret = ESInsert(_es_client, "user")
.append(user_key, uid)
.append(nickname_key, nickname)
.append(phone_key, phone)
.append(description_key, description)
.append(avatar_key, avatar_id)
.insert(uid);
if(ret == false)
{
LOG_ERROR("用户数据插入/更新失败!");
return false;
}
LOG_INFO("用户数据插入/更新成功!");
return true;
}
std::vector<User> search(const std::string &key, const std::vector<std::string> &uid_list)
{
std::vector<User> ret;
Json::Value json_user = ESSearch(_es_client, "user")
.append_should_match(phone_key + ".keyword", key)
.append_should_match(user_key + ".keyword", key)
.append_should_match(nickname_key, key)
.append_must_not_terms(user_key + ".keyword", uid_list)
.search();
if(json_user.isArray() == false)
{
LOG_ERROR("用户搜索结果为空, 或者结果不是数组类型");
return ret;
}
int sz = json_user.size();
LOG_DEBUG("检索结果条目数量:{}",sz);
for(int i = 0; i < sz; i++)
{
User user;
user.user_id(json_user[i]["_source"][user_key].asString());
user.nickname(json_user[i]["_source"][nickname_key].asString());
user.phone(json_user[i]["_source"][phone_key].asString());
user.description(json_user[i]["_source"][description_key].asString());
user.avatar_id(json_user[i]["_source"][avatar_key].asString());
ret.push_back(user);
}
return ret;
}
private:
std::shared_ptr<elasticlient::Client> _es_client;
};
}
2.7 单元测试 main.cc
#include "../../../common/data_es.hpp"
#include <chrono>
#include <elasticlient/client.h>
#include <memory>
#include <iostream>
#include <gflags/gflags.h>
#include <thread>
#include <vector>
DEFINE_bool(run_mode, false, "程序的运行模式, false-调试; true-发布;");
DEFINE_string(log_file, "", "发布模式下,用于指定日志的输出文件");
DEFINE_int32(log_level, 0, "发布模式下,用于指定日志输出等级");
DEFINE_string(es_host, "[http://127.0.0.1:9200/](http://127.0.0.1:9200/)", "es服务器URL");
int main(int argc, char *argv[])
{
google::ParseCommandLineFlags(&argc, &argv, true);
lotso_im::init_logger(FLAGS_run_mode, FLAGS_log_file, FLAGS_log_level);
auto es_client = lotso_im::ESClientFactory::create({FLAGS_es_host});
auto es_user = std::make_shared<lotso_im::ESUser>(es_client);
es_user->createIndex();
es_user->appendData("用户ID1", "小猪佩奇", "手机号1", "这是一只小猪", "小猪头像1");
es_user->appendData("用户ID2", "小猪乔治", "手机号2", "这是一只小小猪", "小猪头像2");
std::this_thread::sleep_for(std::chrono::seconds(10));
auto ret = es_user->search("小猪", {"用户ID1"});
for(auto &u : ret)
{
std::cout << "----------------" << std::endl;
std::cout << u.user_id() << std::endl;
std::cout << *u.nickname() << std::endl;
std::cout << *u.phone() << std::endl;
std::cout << *u.description() << std::endl;
std::cout << *u.avatar_id() << std::endl;
}
return 0;
}
2.8 Makefile编译脚本
all : main
main : main.cc
g++ -o $@ $^ -I../../../odb -I. --std=c++17 -lcpr -lelasticlient -lspdlog -lfmt -lgflags /usr/local/lib/libjsoncpp.so.19
.PHONY : clean
clean:
rm -f main
三、核心知识点总结
- 为什么要用ES做用户搜索,不用MySQL?
MySQL的like %关键词%不走B+树索引,数据量大性能很差;ES基于倒排索引,专门面向全文检索场景,支持分词模糊搜索、精确搜索。 - ES字段类型区分
keyword:不分词,完整匹配,适合手机号、用户ID;访问字段需要.keyword;text:分词存储,可以片段模糊检索,适合昵称、签名。
- 文档id复用技巧:把业务
user_id直接作为ES文档_id,实现同一个用户新增/更新复用同一个接口。 - 近实时搜索大坑!
ES写入数据后不会马上可见,内部有刷新间隔,测试代码写完立刻查询返回0条,kibana查询却正常。测试场景sleep规避,生产环境禁止sleep。 - 查询条件:
should:或逻辑,满足任意一个条件即可;must_not terms:批量排除一组id,实现过滤自己和好友的业务需求。
- C++编码细节:传入vector引用做过滤列表,必须加上
const修饰,否则临时对象传参编译报错。
结尾:
html
🍓 我是草莓熊 Lotso!若这篇技术干货帮你打通了学习中的卡点:
👀 【关注】跟我一起深耕技术领域,从基础到进阶,见证每一次成长
❤️ 【点赞】让优质内容被更多人看见,让知识传递更有力量
⭐ 【收藏】把核心知识点、实战技巧存好,需要时直接查、随时用
💬 【评论】分享你的经验或疑问(比如曾踩过的技术坑?),一起交流避坑
🗳️ 【投票】用你的选择助力社区内容方向,告诉大家哪个技术点最该重点拆解
技术之路难免有困惑,但同行的人会让前进更有方向~愿我们都能在自己专注的领域里,一步步靠近心中的技术目标!
结语:本篇完成了即时通讯系统中ES用户数据管理完整实现,覆盖索引创建、数据同步更新、全文搜索。在真实业务流程中,每当用户注册、修改昵称、修改手机号的时候,都要调用appendData同步更新ES文档,保证MySQL和ES数据一致性。这里要注意,当前方案只是简单同步,生产环境要考虑数据同步异常问题,比如可以通过MQ来保证MySQL与ES的数据最终一致性。下一篇我们就可以把这套ES模块接入网关业务,对外提供用户搜索RPC接口。如果你觉得本文对你有帮助,欢迎点赞收藏,有问题可以评论区一起讨论。
✨把这些内容吃透超牛的!放松下吧✨ ʕ˘ᴥ˘ʔ づきらど
