Rust消费kafka

rust 复制代码
use futures::stream::StreamExt; // 引入 StreamExt 以使用 next() 方法
use rdkafka::config::ClientConfig;
use rdkafka::consumer::{CommitMode, Consumer, StreamConsumer};
use rdkafka::error::KafkaResult;
use rdkafka::message::{Message};

async fn run_consumer() -> KafkaResult<()> {
    let consumer: StreamConsumer = ClientConfig::new()
        .set("group.id", "test_group")
        .set("bootstrap.servers", "localhost:9092")
        .set("enable.auto.commit", "true")
        .set("session.timeout.ms", "6000")
        .set("auto.offset.reset", "earliest")
        .create()
        .expect("Consumer creation failed");

    consumer.subscribe(&["test_topic"]).expect("Can't subscribe to specified topics");

    let mut message_stream = consumer.stream();

    while let Some(message) = message_stream.next().await {
        match message {
            Ok(m) => {
                match m.payload_view::<str>() {
                    Some(Ok(payload)) => {
                        println!("Key: '{:?}', Payload: '{}'", m.key(), payload);
                    }
                    Some(Err(e)) => {
                        eprintln!("Error while deserializing message payload: {:?}", e);
                    }
                    None => {
                        println!("Key: '{:?}', Payload: <empty>", m.key());
                    }
                }
                consumer.commit_message(&m, CommitMode::Async)?;
            }
            Err(e) => eprintln!("Kafka error: {}", e),
        }
    }
    Ok(())
}

fn main() {
    let runtime = tokio::runtime::Runtime::new().unwrap();
    runtime.block_on(run_consumer()).unwrap();
}

dependencies

rdkafka = "0.36.2"

tokio = { version = "1.36.0", features = ["full"] }

futures = "0.3.30"

target.x86_64-unknown-linux-musl

linker = "x86_64-linux-musl-gcc"

相关推荐
满怀10157 分钟前
Python入门(5):异常处理
开发语言·python
攀小黑11 分钟前
Java 多线程加锁 synchronized 关键字 字符串当做key
java·开发语言
Vic233412 分钟前
Kafka简要介绍与快速入门示例
分布式·kafka
每次的天空20 分钟前
Kotlin 作用域函数:apply、let、run、with、also
android·开发语言·kotlin
小林熬夜学编程24 分钟前
【高并发内存池】第八弹---脱离new的定长内存池与多线程malloc测试
c语言·开发语言·数据结构·c++·算法·哈希算法
独好紫罗兰35 分钟前
洛谷题单3-P1980 [NOIP 2013 普及组] 计数问题-python-流程图重构
开发语言·python·算法
独好紫罗兰40 分钟前
洛谷题单3-P1009 [NOIP 1998 普及组] 阶乘之和-python-流程图重构
开发语言·python·算法
Taichi呀40 分钟前
PHP语言基础
android·开发语言·php
zhu12893035561 小时前
基于Rust与WebAssembly实现高性能前端计算
前端·rust·wasm
Aerkui1 小时前
Python数据类型-int
开发语言·python