kafka 发送文件二进制流及使用header发送附属信息

文章目录

背景

需要使用kafka发送文件二进制以及附属信息

案例

发送方

java 复制代码
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.io.InputStream;
import java.nio.charset.StandardCharsets;
import java.util.Properties;

public class SendFileToKafka {

    public static void main(String[] args) {

        String filePath = "com/example/kafka/file/ConsumerFileByteArrayFromKafka.java";

        Properties kafkaProps = new Properties();
        kafkaProps.put("bootstrap.servers", "192.168.56.112:9092");
        kafkaProps.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        kafkaProps.put("value.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer");
        KafkaProducer<String, byte[]> producer = new KafkaProducer<>(kafkaProps);
        InputStream in = SendFileToKafka.class.getResourceAsStream("/com/example/kafka/file/ConsumerFileByteArrayFromKafka.java");
        try {
            byte[] buffer = new byte[in.available()];
            // 读到buffer字节数组中
            in.read(buffer);
            ProducerRecord<String, byte[]> record = new ProducerRecord<>("dataTopic", buffer);
            String header = "aaa";
            record.headers().add("test_header", header.getBytes(StandardCharsets.UTF_8));
            producer.send(record);
            in.close();
            producer.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

接收方

java 复制代码
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.header.Header;
import org.apache.kafka.common.header.Headers;

import java.util.Arrays;
import java.util.Properties;

public class ConsumerFileByteArrayFromKafka {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "192.168.56.112:9092");
        props.put("group.id", "group1");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.ByteArrayDeserializer");

        KafkaConsumer<String, byte[]> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("dataTopic"));
        try {
            while (true) {
                ConsumerRecords<String, byte[]> records = consumer.poll(100);
                for (ConsumerRecord<String, byte[]> record : records) {
                    Headers headers = record.headers();
                    Iterable<Header> testHeader = headers.headers("test_header");
                    for (Header header : testHeader) {
                        String recordHeader = new String(header.value(), "UTF-8");
                        System.out.println("recordHeader => " + recordHeader);
                    }
                    byte[] message = record.value();
                    System.out.println(new String(message));
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            consumer.close();
        }
    }
}
相关推荐
WX187021128736 小时前
在分布式光伏电站如何进行电能质量的治理?
分布式
Stringzhua6 小时前
【SpringCloud】Kafka消息中间件
spring·spring cloud·kafka
不能再留遗憾了9 小时前
RabbitMQ 高级特性——消息分发
分布式·rabbitmq·ruby
茶馆大橘9 小时前
微服务系列六:分布式事务与seata
分布式·docker·微服务·nacos·seata·springcloud
材料苦逼不会梦到计算机白富美12 小时前
golang分布式缓存项目 Day 1
分布式·缓存·golang
想进大厂的小王12 小时前
项目架构介绍以及Spring cloud、redis、mq 等组件的基本认识
redis·分布式·后端·spring cloud·微服务·架构
Java 第一深情12 小时前
高性能分布式缓存Redis-数据管理与性能提升之道
redis·分布式·缓存
杨荧13 小时前
【JAVA毕业设计】基于Vue和SpringBoot的服装商城系统学科竞赛管理系统
java·开发语言·vue.js·spring boot·spring cloud·java-ee·kafka
ZHOU西口13 小时前
微服务实战系列之玩转Docker(十八)
分布式·docker·云原生·架构·数据安全·etcd·rbac
zmd-zk14 小时前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka