Kafka-consumer-groups 명령어

Consumer Group list 정보

실습

Kafka Group List 정보 보기

kafka-consumer-groups --bootstrap-server localhost:9092 --list

Consumer Group과 Consumer 관계, Partition 등에 대한 상세 정보

실습

 kafka-consumer-groups --bootstrap-server localhost:9092 --describe --group group_01

Consumer 1개 더 투입

 kafka-console-consumer --bootstrap-server localhost:9092 --group group_01 --topic multipart-topic --property print.key=true --property print.value=true --property print.partition=true

Consumer 1개 더 투입

 kafka-console-consumer --bootstrap-server localhost:9092 --group group_01 --topic multipart-topic --property print.key=true --property print.value=true --property print.partition=true

Consumer Group 삭제

• Consumer Group는 자동으로 삭제되지 않고 일정 기간 보관 후 삭제된다(Consumer가 모두 삭제되더라도 보관됨)
• Consumer Group 삭제 명령어를 통해서만 삭제 가능

Consumer 삭제 불가능(Consumer가 남아 있을때)

 kafka-consumer-groups --bootstrap-server localhost:9092 --delete --group group_01

Consumer 삭제 가능(모두 제거)

 kafka-consumer-groups --bootstrap-server localhost:9092 --delete --group group_01

Producer가 전송한 Log message의 지연 Lag 정보

1. Key 기반에 Producer 생성

kafka-console-producer --bootstrap-server localhost:9092 --topic multipart-topic \
> --property key.separator=: --property parse.key=true

2. Description으로 확인

 kafka-consumer-groups --bootstrap-server localhost:9092 --describe --group group_01

 

메시지 2000개 테스트

1. keyload.log 파일 만들기

touch keyload.log

 

2. key 메시지 2000개를 keyload.log에 기록하기. 

for i in {1..2000}
do
echo "$i:test key message sent test00000000000000 $i" >> keyload.log
done

3. keyload.log 파일 기반으로 메시지 2000개 전송. 

kafka-console-producer --bootstrap-server localhost:9092 --topic multipart-topic \
--property key.separator=: --property parse.key=true < keyload.log

4. Description으로 로그 보기

 kafka-consumer-groups --bootstrap-server localhost:9092 --describe --group group_01

5. Consumer 생성 후, 로그 보기

Consumer 생성

 kafka-consumer-groups --bootstrap-server localhost:9092 --describe --group group_01

 

Description으로 로그 보기

 kafka-consumer-groups --bootstrap-server localhost:9092 --describe --group group_01