Window Kafka 简单使用

Window Kafka 简单使用

文章目录

1.kafka下载

下载地址

下载二进制的,如图:

2、官网下载kafka【解压之后如图所示】

3、修改zookeeper、Kafka的配置文件

config文件夹下zookeeper.properties文件

bash 复制代码
dataDir=D:/zookeeper/data

config文件夹下server.properties文件

bash 复制代码
log.dirs=D:/kafka-logs

4、启动zookeeper

cd D:\kafka_2.12-3.7.0\bin\windows

bash 复制代码
在此目录下打开cmd,执行命令
zookeeper-server-start.bat ..\..\config\zookeeper.properties

5、启动kafka

cd D:\kafka_2.12-3.7.0\bin\windows

bash 复制代码
在此目录下打开cmd,执行命令
kafka-server-start.bat ..\..\config\server.properties

6、Confluent.Kafka在.Net中使用

生产者:

csharp 复制代码
        /// <summary>
        /// 消息生产者
        /// </summary>
        public static void Producer()
        {
            var conf = new ProducerConfig {

                BootstrapServers = "localhost:9092",
                //CompressionType=CompressionType.Gzip//压缩方式
            };

            Action<DeliveryReport<string, string>> handler = r =>
            {
                if (!r.Error.IsError)
                {
                    Console.WriteLine($"Delivered message to {r.TopicPartitionOffset}");
                }
                else
                {
                    //发送邮件,记录错误消息
                    Console.WriteLine($"Delivery Error: {r.Error.Reason}");
                }
              
            };


            using (var p = new ProducerBuilder<string, string>(conf).Build())
            {

                for (int i = 0; i < 5; ++i)
                {
                    //批消息:消息集合
                    //虽然是单条数据发送 ,但是是批量发送的
                    //先放在内存中缓存起来,一起发送的
                    //磁盘IO:顺序读写(固态硬盘,机械硬盘寻址时间比较长)
                    var vin = $"LDP95E966NE02292{i}";
                    p.Produce("test", new Message<string , string> {Key= vin, Value = i.ToString() }, handler);
                }

                // wait for up to 10 seconds for any inflight messages to be delivered.
                p.Flush(TimeSpan.FromSeconds(10));
            }

        }

消费者:

csharp 复制代码
        /// <summary>
        /// 消费者
        /// 从文件找到数据,读到内存,通过网络发给客户端
        /// </summary>
        public static void Consumer()
        {
            var conf = new ConsumerConfig
            {
                GroupId = "test-consumer-group",
                BootstrapServers = "localhost:9092",
                // Note: The AutoOffsetReset property determines the start offset in the event
                // there are not yet any committed offsets for the consumer group for the
                // topic/partitions of interest. By default, offsets are committed
                // automatically, so in this example, consumption will only start from the
                // earliest message in the topic 'my-topic' the first time you run the program.
                AutoOffsetReset = AutoOffsetReset.Earliest,
                EnableAutoCommit=true,//关闭自动提交位移
                PartitionAssignmentStrategy=PartitionAssignmentStrategy.Range,//分区分配策略  轮询 、粘滞
                
            };

            using (var c = new ConsumerBuilder<Ignore, string>(conf).Build())
            {
                c.Subscribe("test");

                CancellationTokenSource cts = new CancellationTokenSource();
                Console.CancelKeyPress += (_, e) =>
                {
                    e.Cancel = true; // prevent the process from terminating.
                    cts.Cancel();
                };

                try
                {
                    while (true)
                    {
                        try
                        {
                            var cr = c.Consume(cts.Token);
                            Console.WriteLine($"Consumed message '{cr.Value}' at: '{cr.TopicPartitionOffset}'.");
                        }
                        catch (ConsumeException e)
                        {
                            Console.WriteLine($"Error occured: {e.Error.Reason}");
                        }
                    }
                }
                catch (OperationCanceledException)
                {
                    // Ensure the consumer leaves the group cleanly and final offsets are committed.
                    c.Close();
                }
            }
        }
相关推荐
观望过往10 小时前
Kafka 全方位详细介绍:从架构原理到实践优化
分布式·架构·kafka
LB211210 小时前
Redis黑马点评 分布式锁
数据库·redis·分布式
回家路上绕了弯14 小时前
接口响应时间优化指南:从秒级到毫秒级的全链路方案
分布式·后端
RestCloud14 小时前
OceanBase 分布式数据库的 ETL 实践:从抽取到实时分析
数据库·分布式·postgresql·oceanbase·etl·数据处理·数据同步
西***634715 小时前
从信号零损耗到智能协同:高清混合矩阵全链路技术拆解,分布式可视化系统十大趋势重塑行业
分布式·线性代数·矩阵
菜鸡儿齐1 天前
kafka简介
分布式·kafka
周杰伦_Jay1 天前
【实战|旅游知识问答RAG系统全链路解析】从配置到落地(附真实日志数据)
大数据·人工智能·分布式·机器学习·架构·旅游·1024程序员节
深兰科技1 天前
深兰科技入选“2025中国人工智能行业创新力企业百强”
人工智能·科技·百度·kafka·rabbitmq·memcached·深兰科技
兜兜风d'1 天前
RabbitMQ事务机制详解
数据库·spring boot·分布式·rabbitmq·ruby·java-rabbitmq
ifeng09181 天前
HarmonyOS分布式任务调度——跨设备智能任务分配与迁移
分布式·华为·harmonyos