Kafka消费者组与分区分配策略

祥祥要起飞

2022-11-18

Kafka

消费者组（Consumer Group）

image-20221118-1

1	kaProperties.put(ConsumerConfig.GROUP_ID_CONFIG, "order-group");

image-20221118-2

● 定义与概念：
○ 消费者组是Kafka中用于对消费者进行分组管理的机制。一个消费者组可以包含一个或多个消费者实例。同一消费者组中的消费者共同消费一个或多个主题中的消息，并且这些消费者之间会对主题的分区进行负载均衡。例如，在一个日志收集系统中，可能会有多个消费者组成一个消费者组来共同处理日志主题中的消息。
● 作用与优势：
○ 负载均衡：消费者组内的消费者能够自动分配主题分区，实现负载均衡，提高消费效率。比如，假设有一个主题有10个分区，消费者组中有5个消费者，那么每个消费者可能会分配到2个分区来进行消费，从而分担了消费任务。
○ 水平扩展：可以通过增加消费者组中的消费者数量来提高整体的消费能力。当消息吞吐量增加时，只需添加新的消费者到组中，Kafka会自动重新分配分区，使得新消费者也参与到消息处理中。
○ 容错性：如果消费者组中的一个消费者出现故障（如进程崩溃或网络问题），其负责的分区会被重新分配给组内其他消费者，确保消息的持续消费，避免消息丢失。
● 消费者组ID（Group ID）：
○ 每个消费者组都有一个唯一的标识符，即消费者组ID。它用于在Kafka集群中识别不同的消费者组。在配置消费者时，需要指定消费者组ID，并且同一消费者组内的消费者配置的消费者组ID必须相同。例如，在Java中使用Kafka消费者客户端时，通过ConsumerConfig.GROUP_ID_CONFIG属性来设置消费者组ID。

组协调器（Group Coordinator）

● 功能概述：
○ 组协调器是Kafka服务端的一个组件，它主要负责管理消费者组的相关操作。包括消费者组的成员管理（如消费者加入、离开消费者组）、分区分配策略的执行、消费者心跳监测以及偏移量管理等诸多事务。
● 消费者加入与离开管理：
○ 当一个消费者启动并尝试加入一个消费者组时，它会与组协调器进行通信。组协调器会记录消费者组的成员信息，并根据分区分配策略为新加入的消费者分配分区。同样，当消费者正常或异常离开消费者组时（如消费者主动关闭或出现故障），组协调器会检测到消费者的离开，并重新分配该消费者所负责的分区给其他消费者。

image-20221118-3

● 心跳监测与消费者存活判断：
○ 消费者需要定期向组协调器发送心跳信号，以表明自己仍然存活。组协调器通过接收心跳信号来判断消费者是否还在正常工作。如果在一定时间内（由session.timeout.ms配置决定）没有收到消费者的心跳信号，组协调器会认为该消费者已经死亡，然后触发分区重新分配的操作。
● 偏移量管理：
○ 组协调器还参与消费者偏移量的管理。它负责存储和更新消费者组的偏移量信息。当消费者提交偏移量（可以是自动提交或手动提交）时，这些偏移量会被发送到组协调器，组协调器会将其存储在__consumer_offsets主题中。在消费者重新启动或分区重新分配后，组协调器会根据存储的偏移量信息，帮助消费者从正确的位置继续消费。

分区的分配策略（Partition Assignment Strategy）

image-20221118-4

1	props.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG, "org.apache.kafka.clients.consumer.RangeAssignor");

● Range策略：
○ 原理：对于每个主题，首先按照分区编号进行排序，然后将分区范围分配给消费者。假设一个主题有10个分区（编号为0 - 9），消费者组中有3个消费者。那么消费者1可能会被分配分区0 - 3，消费者2分配分区4 - 6，消费者3分配分区7 - 9。具体分配范围是根据分区总数和消费者数量通过一定的计算得出的。
○ 适用场景：适用于主题分区数量相对固定，消费者数量相对稳定的情况。如果分区数量或消费者数量频繁变化，可能会导致分区分配不均匀。例如，在一个数据采集系统中，主题的分区数量是预先确定的，消费者组中的消费者数量也很少变化，使用Range策略可以简单有效地分配分区。
● Round - Robin策略：
○ 原理：将所有主题的分区视为一个整体，按照轮询的方式依次分配给消费者。以同样有10个分区的主题和3个消费者为例，分区0会分配给消费者1，分区1分配给消费者2，分区2分配给消费者3，分区3又分配给消费者1，以此类推。这种策略能够更均匀地分配分区，尤其是在多个主题存在且分区数量不同的情况下。
○ 适用场景：适用于多个主题且分区数量不一致的情况，能够保证每个消费者分配到的分区数量相对均匀。比如在一个包含多个不同业务主题的消息系统中，各个主题的分区数量不同，Round - Robin策略可以确保消费者组中的消费者公平地分配到各个主题的分区。
● Sticky策略：
○ 原理：这是一种较新的分配策略，它在分配分区时，会尽量保持之前的分配状态，同时兼顾分区的均匀分配。当消费者加入或离开消费者组时，它会在不引起过多分区重新分配的情况下，使分区分配尽可能地保持稳定。例如，在消费者组中的某个消费者离开后，Sticky策略会尝试只重新分配该消费者负责的分区，而尽量不改变其他消费者的分区分配情况。
○ 适用场景：在消费者组动态变化（如消费者频繁加入或离开）的场景下非常有用。因为它可以减少分区重新分配的频率，从而降低对消息消费的影响。例如，在一个云服务环境下的消息处理系统中，消费者可能会因为资源的动态分配而频繁加入或离开消费者组，Sticky策略可以很好地应对这种情况。