Spring Cloud로 개발하는 MSA/데이터 동기화를 위한 Apache Kafka의 활용

Kafka Source Connect 사용

webmaster 2022. 2. 7. 12:58
728x90
  • 현재 localhost의 8083 포트가 Kafka Source Connectors이다.
    • Postman을 통해 해당 URL 로 json 데이터를 전달한다
  • 등록한 kafka Connect를 통해 kafkaSourceConnect를 추가할 것이다.
    • name : Connect이름
    • config 설정
      • connector.class : Connector 종류(현재는 jdbc)
      • connection.url , user, password: 연결될 DB, user, password
      • mode, incrementing.colimn.name : 등록이 되면서 동작할 Mode 설정, 증가시킬 컬럼 선택
      • table.whitelist : 변경을 감지할 테이블
      • topic.prefix :  변경된 내용을 어디다가 저장할지 
  • Connect 목록 확인
    • http://localhost:8083/connectors
    • 등록된 커넥터 확인
  • Connect 확인
    • http://localhost:8083/connectors/my-source-connect/status
    • 커넥터 상세 보기
  • Insert를 실행한다.
    • DB에 데이터 등록
    •  추가된 topic 확인
    • my_topic_ 으로 추가된다.
    • topic에 변경된 데이터가 들어간 것을 확인할 수 있다.
728x90