c++调用客户端库与kafka交互

C++可以通过一些优秀的开源库与Kafka进行交互，其中最核心和常用的是 librdkafka。下面这个表格整理了主要的C++ Kafka客户端选项：

客户端库名称	类型/关系	主要特点
librdkafka	原生C库	高性能的底层C库，是许多其他客户端的基础。生产者峰值超过100万条消息/秒，消费者超过300万条消息/秒。
CppKafka	`librdkafka`的C++包装器	封装了`librdkafka`，提供现代C++风格的API，更易于使用。
KafkaBridge	基于`librdkafka`的高级封装	接口极少，简单易用，支持多种语言（C++/C, PHP, Python, Go），由360开源。

🔧 如何使用librdkafka和CppKafka

librdkafka是基础，许多Linux发行版的包管理器都提供了预编译版本。例如，在Debian/Ubuntu上，你可以使用以下命令安装开发包：

bash

复制代码

sudo apt-get install librdkafka-dev

CppKafka 依赖于librdkafka，通常需要从源码编译安装：

bash

复制代码

# 安装librdkafka-dev (如上所示)
sudo apt-get install librdkafka-dev
# 安装CMake
sudo apt-get install cmake
# 获取CppKafka源码
git clone https://github.com/mfontanini/cppkafka.git
cd cppkafka
mkdir build && cd build
cmake ..
make
sudo make install

📝 编程示例

这里提供一个使用 CppKafka 发送和接收消息的简单示例，它能让你对代码结构有个直观感受。

生产者示例

下面的代码展示了如何创建一个Kafka生产者并发送一条消息。

cpp

复制代码

#include <cppkafka/cppkafka.h> // 包含CppKafka头文件

using namespace std;
using namespace cppkafka;

int main() {
    // 1. 创建配置对象，并设置Kafka集群地址
    Configuration config = {
        { "metadata.broker.list", "localhost:9092" }
    };
    
    // 2. 创建生产者对象
    Producer producer(config);
    
    // 3. 构建并发送一条消息到 "my_topic"
    string message = "Hello, Kafka!";
    producer.produce(MessageBuilder("my_topic").payload(message));
    
    // 4. 等待消息发送完成（在生产环境中，会有更完善的回调处理）
    producer.flush();
    return 0;
}

消费者示例

下面的代码展示了如何创建一个Kafka消费者并持续拉取消息。

cpp

复制代码

#include <cppkafka/cppkafka.h>
#include <iostream>

using namespace std;
using namespace cppkafka;

int main() {
    // 1. 创建配置对象，设置集群地址和消费者组
    Configuration config = {
        { "metadata.broker.list", "localhost:9092" },
        { "group.id", "my_consumer_group" }
    };
    
    // 2. 创建消费者对象并订阅主题
    Consumer consumer(config);
    consumer.subscribe({ "my_topic" });
    
    // 3. 循环消费消息
    while (true) {
        // 拉取消息，设置超时时间1000毫秒
        Message msg = consumer.poll(std::chrono::milliseconds(1000));
        
        if (msg) { // 如果成功获取到消息
            if (!msg.get_error()) { // 并且消息本身没有错误
                // 打印消息内容
                cout << "Received: " << msg.get_payload() << endl;
                // 提交偏移量（也可异步或手动提交）
                consumer.commit(msg);
            }
        }
    }
    return 0;
}

💡 重要配置与生产建议

在实际生产环境中，你需要关注一些关键配置：

消息可靠性 (acks) ：通过acks参数配置。
- "0"：性能最佳，但可能丢失消息。
- "1"：默认值，Leader副本写入即确认，性能与可靠性折中。
- "all"：所有ISR副本写入才确认，最可靠，性能最低。
异步发送 ：librdkafka主要提供异步生产接口。这意味着produce调用通常不会等待服务器确认，而是立即返回，通过回调函数来接收发送结果。这对于高性能至关重要。
错误处理 ：务必设置并检查发送消息回调(dr_cb) 和错误事件回调(event_cb) ，以便处理消息发送失败或连接断开等异常情况。

💎 如何选择

如果你追求极致的性能和控制力 ，并且熟悉C语言，可以直接使用 librdkafka。
如果你希望代码更现代、更符合C++习惯 ，那么 CppKafka 是一个非常好的选择。
如果你的需求是快速集成、接口简单 ，或者需要多语言支持 ，可以评估 KafkaBridge 。