Apache Kafka

Apache Kafka 简介

Apache Kafka 是一个开源的分布式流处理平台，最初由 LinkedIn 开发，后成为 Apache 顶级项目。它被设计用于高吞吐量、低延迟的实时数据流处理，广泛应用于日志聚合、事件溯源、消息队列和流式数据分析等场景。Kafka 的核心优势在于其高可扩展性、持久化存储和容错能力，使其成为现代大数据和微服务架构的关键组件。

核心特性

1. 高吞吐量与低延迟
   • 支持每秒百万级消息处理
   • 通过分区（Partition）和批量提交优化性能
2. 持久化与高可用
   • 消息持久化存储（可配置保留时间）
   • 支持多副本（Replication）机制，防止数据丢失
3. 分布式架构
   • 基于 ZooKeeper（或 KRaft 模式）实现集群协调
   • 支持水平扩展，轻松应对高并发
4. 流处理能力
   • 提供 Kafka Streams 和 KSQL 进行实时数据处理
   • 与 Flink、Spark Streaming 等大数据工具集成
5. 多协议支持
   • 兼容 HTTP/2（REST Proxy）、gRPC、WebSocket 等协议
6. 生态系统丰富
   • 提供 Connect API（数据导入/导出）
   • 支持 Schema Registry（Avro/Protobuf 数据格式管理）

核心概念

1. Producer（生产者）
   • 向 Kafka 发送消息的客户端
2. Consumer（消费者）
   • 从 Kafka 读取消息的客户端
3. Broker（代理节点）
   • Kafka 集群中的单个服务器
4. Topic（主题）
   • 消息的逻辑分类（如 orders、logs）
5. Partition（分区）
   • Topic 的分片，提高并行处理能力
6. Offset（偏移量）
   • 每条消息在分区中的唯一标识
7. Consumer Group（消费者组）
   • 多个消费者协同消费同一 Topic

典型应用场景

1. 实时日志聚合
   • 收集应用日志并集中存储（如 ELK 架构）
2. 事件驱动架构（EDA）
   • 微服务间通过消息异步通信
3. 流式数据处理
   • 实时计算用户行为（如点击流分析）
4. 消息队列
   • 替代传统 MQ（如 RabbitMQ）
5. 物联网（IoT）数据管道
   • 处理海量设备传感器数据

快速入门示例

1. 启动 Kafka 单节点集群

# 下载并解压 Kafka
wget https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz
tar -xzf kafka_2.13-3.6.1.tgz
cd kafka_2.13-3.6.1

# 启动 ZooKeeper（Kafka 3.4+ 可跳过，使用 KRaft 模式）
bin/zookeeper-server-start.sh config/zookeeper.properties

# 启动 Kafka Broker
bin/kafka-server-start.sh config/server.properties

2. 生产与消费消息

# 创建 Topic
bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092

# 启动生产者（输入消息）
bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092

# 启动消费者（另起终端）
bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092

性能优化建议

1. 分区设计
   • 分区数 = 消费者数 × 并行度需求
2. 硬件配置
   • 使用 SSD 存储日志（log.dirs）
   • 增加 Broker 内存（KAFKA_HEAP_OPTS=-Xmx8G）
3. 调优参数
   • num.io.threads（IO 线程数）
   • socket.send.buffer.bytes（网络缓冲区）
4. 监控指标
   • 关注 Lag（消费延迟）、Throughput（吞吐量）