[Kafka] Rebalance 간략한 설명

 

 

하나의 Partition 에는 하나의 Consumer 가 할당되고

하나의 Consumer 는 하나 이상의 Partition 에서 데이터를 읽어올 수 있다.

이것은 Kafka 의 기본적인 규칙임.

 

참고 eyeballs.tistory.com/348

 

만약 서로 매칭되어있던 Partition 과 Consumer 의 관계가 깨지면 

다시 매칭시키기 위해 Rebalance 가 일어남.

 

예를 들어, Consumer 가 새로 추가되거나 기존의 Consumer 가 사라지게 되면 Rebalance 가 일어남.

Rebalance 하는 동안에는 Kafka 로부터 메세지를 읽어올 수 없게 됨.

 

Rebalance 는 토픽의 각 Partition 들이 하나의 Consumer 에 연결/매칭되고,

Rebalance 가 끝난 후에야 Consumer 들은 kafka 로부터 메세지를 읽어올 수 있게 됨.

 

 

참고

saramin.github.io/2019-09-17-kafka/