Kafka Config 구분 및 이해

Broker와 Topic 레벨 Config

• Kafka 서버에서 설정되는 Config
• Topic의 Config 값은 Broker 레벨에서 지정한 Config를 기본으로 설정하며 별도의 Topic 레벨 Config를 설정할 경우 이를 따름 
• 보통 server.properties에 있는 Config는 변경시 Broker 재기동이 필요한 Static Config이며, Dynamic Config는 kafka-configs를 이용하여 동적으로 config 변경 가능.

Producer와 Consumer 레벨 Config

• Kafka 클라이언트에서 설정되는 Config
• Client 레벨에서 설정되므로 server.properties에 존재하지 않고, kafka-configs로 수정할 수 없으며 Client 수행시마다 설정할 수 있음

Kafka-Configs 

config 구분	사용법
Config 값 확인	kafka-configs –bootstrap-server [hostip:port] --entity-type [brokers/topics] –entity-name [broker id / topic name] --all --describe
Config 값 설정	kafka-configs –bootstrap-server [hostip:port] --entity-type [brokers/topics] –entity-name [broker id / topic name] --alter --add-config property명=value
Config 값 Unset	kafka-configs –bootstrap-server [hostip:port] --entity-type [brokers/topics] –entity-name [broker id / topic name] --alter –delete-config property명

 

실습

1. Config 값 확인

kafka-configs --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --all --describe

2. Config 값 수정

kafka-configs --bootstrap-server localhost:9092 --entity-type topics --entity-name multipart-topic --all --alter --add-config max.message.bytes=2088000

• 확인 시, 2880000으로 변경된 것을 볼 수 있다.

3. Config Unset

 kafka-configs --bootstrap-server localhost:9092 --entity-type topics --entity-name multipart-topic --alter --delete-config max.message.bytes