Rust消费kafka

rust 复制代码
use futures::stream::StreamExt; // 引入 StreamExt 以使用 next() 方法
use rdkafka::config::ClientConfig;
use rdkafka::consumer::{CommitMode, Consumer, StreamConsumer};
use rdkafka::error::KafkaResult;
use rdkafka::message::{Message};

async fn run_consumer() -> KafkaResult<()> {
    let consumer: StreamConsumer = ClientConfig::new()
        .set("group.id", "test_group")
        .set("bootstrap.servers", "localhost:9092")
        .set("enable.auto.commit", "true")
        .set("session.timeout.ms", "6000")
        .set("auto.offset.reset", "earliest")
        .create()
        .expect("Consumer creation failed");

    consumer.subscribe(&["test_topic"]).expect("Can't subscribe to specified topics");

    let mut message_stream = consumer.stream();

    while let Some(message) = message_stream.next().await {
        match message {
            Ok(m) => {
                match m.payload_view::<str>() {
                    Some(Ok(payload)) => {
                        println!("Key: '{:?}', Payload: '{}'", m.key(), payload);
                    }
                    Some(Err(e)) => {
                        eprintln!("Error while deserializing message payload: {:?}", e);
                    }
                    None => {
                        println!("Key: '{:?}', Payload: <empty>", m.key());
                    }
                }
                consumer.commit_message(&m, CommitMode::Async)?;
            }
            Err(e) => eprintln!("Kafka error: {}", e),
        }
    }
    Ok(())
}

fn main() {
    let runtime = tokio::runtime::Runtime::new().unwrap();
    runtime.block_on(run_consumer()).unwrap();
}

[dependencies]

rdkafka = "0.36.2"

tokio = { version = "1.36.0", features = ["full"] }

futures = "0.3.30"

[target.x86_64-unknown-linux-musl]

linker = "x86_64-linux-musl-gcc"

相关推荐
lozhyf17 分钟前
Go语言-学习一
开发语言·学习·golang
dujunqiu27 分钟前
bash: ./xxx: No such file or directory
开发语言·bash
爱偷懒的程序源30 分钟前
解决go.mod文件中replace不生效的问题
开发语言·golang
日月星宿~30 分钟前
【JVM】调优
java·开发语言·jvm
2401_8437852339 分钟前
C语言 指针_野指针 指针运算
c语言·开发语言
Jacob程序员1 小时前
leaflet绘制室内平面图
android·开发语言·javascript
AitTech1 小时前
C#编程:List.ForEach与foreach循环的深度对比
开发语言·c#·list
阿俊仔(摸鱼版)2 小时前
Python 常用运维模块之OS模块篇
运维·开发语言·python·云服务器
军训猫猫头2 小时前
56.命令绑定 C#例子 WPF例子
开发语言·c#·wpf
龙哥·三年风水2 小时前
openresty(nginx)+lua+kafka实现日志搜集系统
kafka·lua·openresty