Kafka-Go学习

文章目录

- - [1. **安装 `kafka-go`**](#1. 安装 kafka-go)
  - [2. **基本概念**](#2. 基本概念)
  - [3. **`kafka-go` 基本用法**](#3. kafka-go 基本用法)
  - - [3.1 创建 Producer（生产者）](#3.1 创建 Producer（生产者）)
    - [3.2 创建 Consumer（消费者）](#3.2 创建 Consumer（消费者）)
    - [3.3 生产者和消费者配置详解](#3.3 生产者和消费者配置详解)
    - - 生产者配置 (`kafka.WriterConfig`)
      - 消费者配置 (`kafka.ReaderConfig`)
  - [4. **高级用法**](#4. 高级用法)
  - - [4.1 消费者偏移量管理](#4.1 消费者偏移量管理)
    - [4.2 分区管理](#4.2 分区管理)
    - [4.3 使用 SASL 认证](#4.3 使用 SASL 认证)
  - [5. **Kafka 生产者与消费者优化**](#5. Kafka 生产者与消费者优化)
  - - [5.1 优化生产者](#5.1 优化生产者)
    - [5.2 优化消费者](#5.2 优化消费者)
  - [6. **错误处理**](#6. 错误处理)
  - [7. **总结**](#7. 总结)
  - - 常用资源

kafka-go 是 Go 语言中一个轻量级、高效的 Kafka 客户端库，提供了简单易用的 API 来与 Apache Kafka 进行交互。 kafka-go 支持 Kafka 的生产者和消费者功能，适用于 Go 应用程序中使用 Kafka 进行消息队列的实现。

1. 安装 `kafka-go`

首先，需要在 Go 项目中安装 kafka-go 库：

bash 复制代码

go get github.com/segmentio/kafka-go

2. 基本概念

Producer (生产者)：生产者负责将消息发送到 Kafka 中的某个主题。
Consumer (消费者)：消费者从 Kafka 中读取消息。
Topic (主题)：Kafka 将消息按主题进行分类，每个主题可能有多个分区。
Partition (分区)：每个主题可以被划分为若干个分区，消息在分区之间进行负载均衡。

3. `kafka-go` 基本用法

3.1 创建 Producer（生产者）

生产者的作用是向 Kafka 的主题中发送消息。kafka-go 提供了一个简单的 API 来实现消息的生产。

go 复制代码

package main

import (
	"context"
	"fmt"
	"log"
	"time"

	"github.com/segmentio/kafka-go"
)

func main() {
	// 配置 Kafka writer（生产者）
	writer := kafka.NewWriter(kafka.WriterConfig{
		Brokers:  []string{"localhost:9092"}, // Kafka broker 地址
		Topic:    "example-topic",            // 发送到的 Kafka 主题
		Balancer: &kafka.LeastBytes{},        // 负载均衡策略
	})

	// 定义上下文
	ctx := context.Background()

	// 发送消息
	err := writer.WriteMessages(ctx,
		kafka.Message{
			Key:   []byte("Key-A"),
			Value: []byte("Hello Kafka!"),
		},
		kafka.Message{
			Key:   []byte("Key-B"),
			Value: []byte("Another Message"),
		},
	)

	if err != nil {
		log.Fatal("Failed to write messages:", err)
	}

	fmt.Println("Messages successfully sent to Kafka")

	// 关闭 writer
	if err := writer.Close(); err != nil {
		log.Fatal("Failed to close writer:", err)
	}
}

3.2 创建 Consumer（消费者）

消费者从 Kafka 的主题中读取消息。你可以设置不同的消费者组来实现分布式消费。

go 复制代码

package main

import (
	"context"
	"fmt"
	"log"
	"time"

	"github.com/segmentio/kafka-go"
)

func main() {
	// 配置 Kafka reader（消费者）
	reader := kafka.NewReader(kafka.ReaderConfig{
		Brokers:  []string{"localhost:9092"},  // Kafka broker 地址
		Topic:    "example-topic",             // 读取的 Kafka 主题
		GroupID:  "example-group",             // 消费者组 ID
		MinBytes: 10e3,                       // 每次 fetch 请求最少读取 10KB
		MaxBytes: 10e6,                       // 每次 fetch 请求最多读取 10MB
	})

	// 读取消息
	for {
		// 设置上下文
		ctx := context.Background()

		// 读取消息
		msg, err := reader.ReadMessage(ctx)
		if err != nil {
			log.Fatal("Failed to read message:", err)
		}

		// 打印消息
		fmt.Printf("Message at offset %d: key = %s, value = %s\n", msg.Offset, string(msg.Key), string(msg.Value))

		// 模拟延迟，避免占用过多 CPU 资源
		time.Sleep(1 * time.Second)
	}

	// 关闭 reader
	if err := reader.Close(); err != nil {
		log.Fatal("Failed to close reader:", err)
	}
}

3.3 生产者和消费者配置详解

生产者配置 (`kafka.WriterConfig`)

Brokers：Kafka broker 的地址列表。
Topic：指定生产者要发送消息的 Kafka 主题。
Balancer：消息负载均衡策略，如 LeastBytes（最小字节数分配）或 Hash（基于消息 key 的哈希分配）。

消费者配置 (`kafka.ReaderConfig`)

Brokers：Kafka broker 的地址列表。
Topic：指定消费者要读取的 Kafka 主题。
GroupID：消费者组 ID，Kafka 会将同一个组的消费者平衡分配到不同的分区。
MinBytes 和 MaxBytes：每次从 Kafka 读取的最小和最大字节数，影响消息的拉取频率和性能。

4. 高级用法

4.1 消费者偏移量管理

Kafka 消费者通过偏移量（Offset）来管理读取进度，kafka-go 自动为你处理偏移量提交，但你也可以手动管理。

go 复制代码

package main

import (
	"context"
	"fmt"
	"log"

	"github.com/segmentio/kafka-go"
)

func main() {
	reader := kafka.NewReader(kafka.ReaderConfig{
		Brokers: []string{"localhost:9092"},
		Topic:   "example-topic",
		GroupID: "example-group",
	})

	// 读取消息并手动提交偏移量
	for {
		msg, err := reader.FetchMessage(context.Background())
		if err != nil {
			log.Fatal("Failed to fetch message:", err)
		}

		fmt.Printf("Message: %s = %s\n", string(msg.Key), string(msg.Value))

		// 手动提交消息偏移量
		if err := reader.CommitMessages(context.Background(), msg); err != nil {
			log.Fatal("Failed to commit message:", err)
		}
	}

	if err := reader.Close(); err != nil {
		log.Fatal("Failed to close reader:", err)
	}
}

4.2 分区管理

Kafka 主题中的消息被分布在多个分区中，kafka-go 允许生产者根据消息的 Key 选择分区，确保相同的 Key 总是发送到同一个分区。

go 复制代码

writer := kafka.NewWriter(kafka.WriterConfig{
	Brokers: []string{"localhost:9092"},
	Topic:   "example-topic",
	Balancer: &kafka.Hash{},  // 基于 Key 的 Hash 分配到相同分区
})

4.3 使用 SASL 认证

如果 Kafka 使用了 SASL（Simple Authentication and Security Layer）认证机制，你可以通过 kafka-go 提供的 SASL 支持来进行认证。

go 复制代码

import "github.com/segmentio/kafka-go/sasl/plain"

dialer := &kafka.Dialer{
	SASLMechanism: plain.Mechanism{
		Username: "my-username",
		Password: "my-password",
	},
}

reader := kafka.NewReader(kafka.ReaderConfig{
	Brokers: []string{"localhost:9092"},
	Topic:   "example-topic",
	Dialer:  dialer,  // 配置认证
})

5. Kafka 生产者与消费者优化

5.1 优化生产者

Batching ：批量发送消息能提升效率，kafka-go 允许配置批量发送。
Compression ：使用压缩算法如 gzip 或 snappy，可以减少网络带宽使用。

go 复制代码

writer := kafka.NewWriter(kafka.WriterConfig{
	Brokers:      []string{"localhost:9092"},
	Topic:        "example-topic",
	BatchSize:    100,  // 设置批量大小
	BatchTimeout: time.Millisecond * 10,
	Compression:  kafka.Gzip,
})

5.2 优化消费者

并发消费：可以启动多个消费者来读取不同的分区，提升消息处理的吞吐量。
流量控制 ：通过配置 MinBytes 和 MaxBytes 来控制每次 fetch 的大小，从而优化消费者的性能。

6. 错误处理

Kafka 通常是分布式的，可能会遇到网络故障或 broker 不可用等问题。在生产者和消费者中应该使用适当的错误处理和重试机制。

go 复制代码

for {
	err := writer.WriteMessages(ctx, msg)
	if err != nil {
		fmt.Println("Error writing message:", err)
		time.Sleep(1 * time.Second)  // 简单的重试机制
	}
}

7. 总结

kafka-go 是 Go 语言中用于与 Kafka 进行通信的一个简洁高效的库，提供了生产者、消费者、分区管理、偏移量管理等完整的功能。它的 API 设计简单易用，同时具有较高的性能和扩展性，适合在 Go 应用中集成 Kafka 消息队列。

常用资源

Kafka 官方文档：https://kafka.apache.org/documentation/
kafka-go 官方文档：https://github.com/segmentio/kafka-go

文章目录

1. 安装 kafka-go

2. 基本概念

3. kafka-go 基本用法

3.1 创建 Producer（生产者）

3.2 创建 Consumer（消费者）

3.3 生产者和消费者配置详解

生产者配置 (kafka.WriterConfig)

消费者配置 (kafka.ReaderConfig)

4. 高级用法

4.1 消费者偏移量管理

4.2 分区管理

4.3 使用 SASL 认证

5. Kafka 生产者与消费者优化

5.1 优化生产者

5.2 优化消费者

6. 错误处理

7. 总结

常用资源

1. 安装 `kafka-go`

3. `kafka-go` 基本用法

生产者配置 (`kafka.WriterConfig`)

消费者配置 (`kafka.ReaderConfig`)