【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现


🔥草莓熊Lotso: 个人主页
❄️个人专栏: 《C++知识分享》 《Linux 入门到实践:零基础也能懂》
✨生活是默默的坚持,毅力是永久的享受!


🎬 博主简介:


文章目录

  • 前言:
    • 一、整体业务框架搭建
      • [1.1 业务场景说明](#1.1 业务场景说明)
      • [1.2 类结构设计](#1.2 类结构设计)
    • 二、接口实现、源码解读与实战踩坑
      • [2.1 ES客户端工厂 ESClientFactory](#2.1 ES客户端工厂 ESClientFactory)
      • [2.2 createIndex 创建用户索引](#2.2 createIndex 创建用户索引)
      • [2.3 appendData:新增/更新合一接口](#2.3 appendData:新增/更新合一接口)
      • [2.4 search 用户检索接口](#2.4 search 用户检索接口)
      • [2.5 重大踩坑:ES近实时搜索(写入后立刻查询结果为0)](#2.5 重大踩坑:ES近实时搜索(写入后立刻查询结果为0))
      • [2.6 完整data_es.hpp最终源码](#2.6 完整data_es.hpp最终源码)
      • [2.7 单元测试 main.cc](#2.7 单元测试 main.cc)
      • [2.8 Makefile编译脚本](#2.8 Makefile编译脚本)
    • 三、核心知识点总结
  • 结尾:


前言:

在即时通讯项目里面,有一个很常见的业务需求:用户搜索 。用户输入昵称、手机号、用户ID,就要能够模糊或者精确检索其他用户,同时搜索结果要过滤掉自己和已经是好友的用户。如果直接在 MySQL 数据库做模糊查询,like %xxx% 的效率会非常差,数据量大的时候索引会失效,性能根本扛不住。所以我们引入 ElasticSearch(ES),把用户元数据同步一份到ES中,专门承担用户检索的工作。本篇就基于C++结合elasticlient客户端,完成ES索引创建、用户数据新增更新、用户搜索全套逻辑,同时记录开发踩坑细节。


一、整体业务框架搭建

1.1 业务场景说明

业务时机:用户注册成功后,除了写入MySQL,同时向ES存储一份用户元信息,专门用于用户搜索功能。

用户元信息字段:用户ID、用户昵称、手机号、签名、头像ID

搜索业务规则:

  1. 搜索关键字是字符串,可以是用户ID、手机号、昵称片段;
  2. 过滤规则:不能搜索到自己,也不能搜索到已有的好友,过滤条件传入一组需要排除的用户ID集合。

需要实现三大ES管理操作:

  1. 创建用户索引;
  2. 用户数据新增 / 更新(同一个ID存在就更新,不存在新增);
  3. 用户搜索:传入搜索关键字 + 需要过滤排除的用户ID列表,返回用户集合。

1.2 类结构设计

我们在项目common目录新建data_es.hpp,设计两个核心类:

  1. ESClientFactory:ES客户端工厂,负责创建elasticlient客户端实例;
  2. ESUser:封装用户索引的全部操作,对外暴露三个核心成员函数:
    • createIndex():构建user索引,定义各个字段类型;
    • appendData():新增或者更新用户文档,同一个uid自动覆写;
    • search():根据关键词+排除id列表,检索用户,返回User对象数组。

头文件初步框架:

复制代码
#include"icsearch.hpp"
namespace bite_im {
class ESUser{
public:
    ESUser(const std::shared_ptr<elasticlient::Client>&client):_es_client(client){}
    void createIndex();
    void appendData(const std::string &uid,
                    const std::string &phone,
                    const std::string &nickname,
                    const std::string &description,
                    const std::string &avatar_id);
    std::vector<User> search(const std::string &key, std::vector<std::string> &uid_list);
private:
    std::shared_ptr<elasticlient::Client>_es_client;
};
}

注意:elasticlient是C++操作ES的第三方http客户端库,底层依赖cpr发送http请求和ES服务交互。


二、接口实现、源码解读与实战踩坑

2.1 ES客户端工厂 ESClientFactory

简单工厂模式,传入ES节点地址列表,返回客户端智能指针对象。

复制代码
class ESClientFactory{ 
public:
    static std::shared_ptr<elasticlient::Client> create(const std::vector<std::string> host_list){
        return std::make_shared<elasticlient::Client>(host_list);
    }
};

2.2 createIndex 创建用户索引

索引名称固定为user,这里要区分ES中两种字段类型:

  • keyword:精确匹配,不会分词,适合手机号、用户ID;

  • text:会分词,可以模糊片段检索,适合昵称、个人签名。

    bool createIndex() {
    bool ret = ESIndex(_es_client, "user")
    .append("user_id", "keyword", "standard", true)
    .append("nickname")
    .append("phone", "keyword", "standard", true)
    .append("description", "text", "standard", false)
    .append("avatar_id", "keyword", "standard", false)
    .create();
    if (ret == false){
    LOG_ERROR("用户信息索引创建失败!");
    return false;
    }
    LOG_INFO("用户信息索引创建成功");
    return true;
    }

关键点解读:

  1. user_id和phone设置为keyword,做精确匹配;搜索的时候访问phone.keyword;
  2. nickname默认text类型,可以分词模糊搜索;
  3. 第四个布尔参数代表是否开启字段存储。

2.3 appendData:新增/更新合一接口

ES有个特性:插入文档的时候指定文档id,如果id已存在就是更新,不存在就是新增,所以我们一个接口同时实现新增和更新逻辑。

⚠️ 早期版本bug:曾经把nickname和phone参数顺序写反,导致存入ES的数据手机号和昵称颠倒,搜索结果异常,写代码一定要注意参数顺序!

复制代码
bool appendData(const std::string &uid,
                const std::string &nickname, 
                const std::string &phone, 
                const std::string &description, 
                const std::string &avatar_id){ 
    bool ret = ESInsert(_es_client, "user") 
    .append("user_id", uid) 
    .append("nickname", nickname)
    .append("phone", phone)
    .append("description", description) 
    .append("avatar_id", avatar_id) 
    .insert(uid); // uid作为ES文档ID,实现存在更新,不存在新增
    
    if (ret == false){
        LOG_ERROR("用户数据插入/更新失败!");
        return false;
    }
    LOG_INFO("用户数据新增/更新成功!");
    return true;
}

业务查询逻辑:

  1. should(或条件):关键词匹配 phone.keyword、user_id.keyword、nickname;
  2. must_not(必须不匹配):过滤掉一组用户ID,实现排除自己和好友;
  3. 将返回的json数组结果,转换为业务层User对象vector返回。

重要细节:入参uid_list必须加const!C++中临时对象只能绑定const引用,如果不加const,测试的时候传入临时初始化的vector会编译报错。

复制代码
std::vector<User> search(const std::string &key, const std::vector<std::string> &uid_list) {
    std::vector<User> res;
    Json::Value json_user = ESSearch(_es_client, "user")
    .append_should_match("phone.keyword",key)
    .append_should_match("user_id.keyword", key) 
    .append_should_match("nickname",key)
    .append_must_not_terms("user_id.keyword", uid_list)
    .search();

    if (json_user.isArray()== false) { 
        LOG_ERROR("用户搜索结果为空,或者结果不是数组类型"); 
        return res;
    }
    int sz = json_user.size();
    LOG_DEBUG("检索结果条目数量:{}",sz);
    for (int i=0;i<sz;i++) { 
        User user;
        user.user_id(json_user[i]["_source"]["user_id"].asString()); 
        user.nickname(json_user[i]["_source"]["nickname"].asString()); 
        user.description(json_user[i]["_source"]["description"].asString());
        user.phone(json_user[i]["_source"]["phone"].asString());
        user.avatar_id(json_user[i]["_source"]["avatar_id"].asString());
        res.push_back(user);
    }
    return res;
}

2.5 重大踩坑:ES近实时搜索(写入后立刻查询结果为0)

ES并不是写入文档立刻就可以检索到!ES是近实时搜索引擎,写入的数据默认1秒刷新到可搜索缓冲区,测试代码写入之后马上执行搜索,会拿到0条结果,但是在kibana控制台手动查询却可以查到数据。

解决办法:测试代码中插入数据后,sleep等待一段时间,给ES完成数据刷新的时间。

复制代码
// 插入两条测试用户数据
es_user->appendData("用户ID1", "小猪佩奇", "手机号1", "这是一只小猪", "小猪头像1");
es_user->appendData("用户ID2", "小猪乔治", "手机号2", "这是一只小小猪", "小猪头像2");
// 等待10秒,等待ES完成数据刷新,生产环境不需要sleep
std::this_thread::sleep_for(std::chrono::seconds(10)); 
// 搜索小猪,过滤排除用户ID1
auto ret = es_user->search("小猪", {"用户ID1"});

⚠️ 注意:sleep仅仅用于单元测试,生产环境业务代码绝对不能sleep。生产业务下,用户注册后过一会才会去搜索,不会出现刚写完立刻搜的场景。

2.6 完整data_es.hpp最终源码

复制代码
#include "icsearch.hpp"
#include "logger.hpp"
#include "../odb/user.hxx"
#include <elasticlient/client.h>
#include <json/value.h>
#include <memory>
#include <string>
#include <vector>

namespace lotso_im
{
const std::string  user_key = "user_id";
const std::string  nickname_key = "nickname";
const std::string  phone_key = "phone";
const std::string  description_key = "description";
const std::string  avatar_key = "avatar_id";

class ESClientFactory
{
public:
    static std::shared_ptr<elasticlient::Client> create(const std::vector<std::string> host_list)
    {
        return std::make_shared<elasticlient::Client>(host_list);
    }
};

class ESUser
{
public:
    using ptr = std::shared_ptr<ESUser>;
    ESUser(const std::shared_ptr<elasticlient::Client> &client) : _es_client(client)
    {}

    bool createIndex()
    {
        bool ret = ESIndex(_es_client, "user")
        .append(user_key, "keyword", "standard", true)
        .append(nickname_key)
        .append(phone_key, "keyword", "standard", true)
        .append(description_key, "text", "standard", false)
        .append(avatar_key, "keyword", "standard", false)
        .create();
        if(ret == false)
        {
            LOG_ERROR("用户信息索引创建失败!");
            return false;
        }
        LOG_INFO("用户信息索引创建成功!");
        return true;
    }

    bool appendData(const std::string &uid, const std::string &nickname,
                    const std::string &phone, const std::string &description, const std::string &avatar_id)
    {
        bool ret = ESInsert(_es_client, "user")
        .append(user_key, uid)
        .append(nickname_key, nickname)
        .append(phone_key, phone)
        .append(description_key, description)
        .append(avatar_key, avatar_id)
        .insert(uid);
        if(ret == false)
        {
            LOG_ERROR("用户数据插入/更新失败!");
            return false;
        }
        LOG_INFO("用户数据插入/更新成功!");
        return true;
    }

    std::vector<User> search(const std::string &key, const std::vector<std::string> &uid_list)
    {
        std::vector<User> ret;
        Json::Value json_user = ESSearch(_es_client, "user")
        .append_should_match(phone_key + ".keyword", key)
        .append_should_match(user_key + ".keyword", key)
        .append_should_match(nickname_key, key)
        .append_must_not_terms(user_key + ".keyword", uid_list)
        .search();

        if(json_user.isArray() == false)
        {
            LOG_ERROR("用户搜索结果为空, 或者结果不是数组类型");
            return ret;
        }
        int sz = json_user.size();
        LOG_DEBUG("检索结果条目数量:{}",sz);
        for(int i = 0; i < sz; i++)
        {
            User user;
            user.user_id(json_user[i]["_source"][user_key].asString());
            user.nickname(json_user[i]["_source"][nickname_key].asString());
            user.phone(json_user[i]["_source"][phone_key].asString());
            user.description(json_user[i]["_source"][description_key].asString());
            user.avatar_id(json_user[i]["_source"][avatar_key].asString());
            ret.push_back(user);
        }
        return ret;
    }

private:
    std::shared_ptr<elasticlient::Client> _es_client;
};
}

2.7 单元测试 main.cc

复制代码
#include "../../../common/data_es.hpp"
#include <chrono>
#include <elasticlient/client.h>
#include <memory>
#include <iostream>
#include <gflags/gflags.h>
#include <thread>
#include <vector>

DEFINE_bool(run_mode, false, "程序的运行模式, false-调试; true-发布;");
DEFINE_string(log_file, "", "发布模式下,用于指定日志的输出文件");
DEFINE_int32(log_level, 0, "发布模式下,用于指定日志输出等级");

DEFINE_string(es_host, "[http://127.0.0.1:9200/](http://127.0.0.1:9200/)", "es服务器URL");

int main(int argc, char *argv[])
{
    google::ParseCommandLineFlags(&argc, &argv, true);
    lotso_im::init_logger(FLAGS_run_mode, FLAGS_log_file, FLAGS_log_level);

    auto es_client = lotso_im::ESClientFactory::create({FLAGS_es_host});
    auto es_user = std::make_shared<lotso_im::ESUser>(es_client);

    es_user->createIndex();
    es_user->appendData("用户ID1", "小猪佩奇", "手机号1", "这是一只小猪", "小猪头像1");
    es_user->appendData("用户ID2", "小猪乔治", "手机号2", "这是一只小小猪", "小猪头像2");

    std::this_thread::sleep_for(std::chrono::seconds(10));
    auto ret = es_user->search("小猪", {"用户ID1"});
    for(auto &u : ret)
    {
        std::cout << "----------------" << std::endl;
        std::cout << u.user_id() << std::endl;
        std::cout << *u.nickname() << std::endl;
        std::cout << *u.phone() << std::endl;
        std::cout << *u.description() << std::endl;
        std::cout << *u.avatar_id() << std::endl;
    }
    return 0;
}

2.8 Makefile编译脚本

复制代码
all : main
main : main.cc
	g++ -o $@ $^ -I../../../odb -I. --std=c++17 -lcpr -lelasticlient -lspdlog -lfmt -lgflags /usr/local/lib/libjsoncpp.so.19

.PHONY : clean
clean:
	rm -f main

三、核心知识点总结

  1. 为什么要用ES做用户搜索,不用MySQL?
    MySQL的like %关键词%不走B+树索引,数据量大性能很差;ES基于倒排索引,专门面向全文检索场景,支持分词模糊搜索、精确搜索。
  2. ES字段类型区分
  • keyword:不分词,完整匹配,适合手机号、用户ID;访问字段需要.keyword;
  • text:分词存储,可以片段模糊检索,适合昵称、签名。
  1. 文档id复用技巧:把业务user_id直接作为ES文档_id,实现同一个用户新增/更新复用同一个接口。
  2. 近实时搜索大坑!
    ES写入数据后不会马上可见,内部有刷新间隔,测试代码写完立刻查询返回0条,kibana查询却正常。测试场景sleep规避,生产环境禁止sleep。
  3. 查询条件:
  • should:或逻辑,满足任意一个条件即可;
  • must_not terms:批量排除一组id,实现过滤自己和好友的业务需求。
  1. C++编码细节:传入vector引用做过滤列表,必须加上const修饰,否则临时对象传参编译报错。

结尾:

html 复制代码
🍓 我是草莓熊 Lotso!若这篇技术干货帮你打通了学习中的卡点:
👀 【关注】跟我一起深耕技术领域,从基础到进阶,见证每一次成长
❤️ 【点赞】让优质内容被更多人看见,让知识传递更有力量
⭐ 【收藏】把核心知识点、实战技巧存好,需要时直接查、随时用
💬 【评论】分享你的经验或疑问(比如曾踩过的技术坑?),一起交流避坑
🗳️ 【投票】用你的选择助力社区内容方向,告诉大家哪个技术点最该重点拆解
技术之路难免有困惑,但同行的人会让前进更有方向~愿我们都能在自己专注的领域里,一步步靠近心中的技术目标!

结语:本篇完成了即时通讯系统中ES用户数据管理完整实现,覆盖索引创建、数据同步更新、全文搜索。在真实业务流程中,每当用户注册、修改昵称、修改手机号的时候,都要调用appendData同步更新ES文档,保证MySQL和ES数据一致性。这里要注意,当前方案只是简单同步,生产环境要考虑数据同步异常问题,比如可以通过MQ来保证MySQL与ES的数据最终一致性。下一篇我们就可以把这套ES模块接入网关业务,对外提供用户搜索RPC接口。如果你觉得本文对你有帮助,欢迎点赞收藏,有问题可以评论区一起讨论。

✨把这些内容吃透超牛的!放松下吧✨ ʕ˘ᴥ˘ʔ づきらど

相关推荐
星恒随风18 分钟前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql
天翼云开发者社区19 分钟前
天翼云TeleDB最佳实践:某大型企业平滑去O,国产化替代一步到位
数据库
青山不见20 分钟前
告别手动拼参数!IDEA 插件 Log2SQL:MyBatis/Hibernate 日志秒变可执行 SQL
数据库
岳涛22 分钟前
考古|搬迁 percolator 要先保住规则身份,ES 1.0 把它挪进了索引内
elasticsearch
岳涛27 分钟前
考古|旧查询和 _boost 在 ES 1.0 收掉,替换方向并不保证等价
elasticsearch
慧都产品智能化33 分钟前
Qt 开发 CAD/CAM 工序表的隐性成本分析
c++·qt·qt5·qt6.3
李兆龙的博客1 小时前
从一到无穷大 #115:企业级 SSD 涨价后的容量利用率与磨损管理
数据库·ssd·nvme
Keith Guo2 小时前
ESP32-S31芯片架构中文件系统在不同的Flash的位置对PSRAM的性能影响
性能优化·架构·esp32
eggwyw2 小时前
linux下的C\C++多进程多线程编程实例详解
开发语言·c++