Ch01. Kafka 설치와 설정 - Kafka 간단 요약

Kafka의 종류

Kafka의 종류는 2가지 존재한다.

Kafka 종류

• Apache Kafka = 여러 추가 기능을 추가하여 제공하는 카프카
• Confluent Kafka = LinkedIn에서 최초로 제공한 카프카

Kafka 활용사례 - 데이터 파이프라인

데이터 파이프라인(Data Pipeline)이란?

중간에 사람의 개입 없이 데이터를 오염, 중복, 유실과 같은 결함 없이 수집, 저장, ETL(Extract, Transform, Load)이 가능하도록 일련의 흐름을 만들어 주는 과정

이 데이터 파이프라인을 구축할 때 Kafka를 가장 많이 활용한다.

Kafka 활용사례 - 시스템 모니터링

실무에서의 모니터링

• 여러 언어별로 다양한 로그를 수집을 할 수 있는데, 이를 카프카를 이용해 쉽게 수집할 수 있게 한다.

Kafka 활용사례 - 메시징 허브

메시징 허브(kafka 사용 전)

메시징 허브(kafka 사용 후)

• 서비스가 다른 서비스를 직접 호출하도록 구성했을 때, 발생하는 문제점
  • 서비스가 만약 중지가 된다면 이를 호출하는 곳에서는 오류가 발생한다.
  • 호출하는 서비스가 항상 일정하다는 과정하에 배포를 해야 하지만 이는 쉽지 않다.
• Kafka를 사용해서 서비스를 호출한다면
  • 카프카를 도입하므로서 메시지가 분실되는 문제가 해결된다 -> 다시 메시지를 발행할 수 있다.
  • 중간에 카프카를 두었기 때문에 해당 서비스가 문제가 발생하더라도 카프카만 이슈가 되지 서비스는 이슈 되지 않는다.
  • 이전보다 안정적으로 운영이 가능하다 -> 트래픽을 카프카가 적절하게 조절하기 때문에