Apache Kafka 사용 - Kafka Connect 설치하기

• 특별한 코드 없이 Configuration으로 데이터를 이동한다.
• RESTful API 통해 지원
• Stream, Batch 형태로 데이터 전송이 가능하다.
• kafkaConnectSource를 통해 출발지에서 KafkaCluster에 데이터 전송이 가능하고, KafkaConnectSink를 통해 KafkaCluster에서 목적지로 데이터 전송이 가능하다
  
  • kafkaConnectSource : 보내는 쪽 , KafkaConnectSink : 받는 쪽

MariaDB 설치하기

https://mariadb.org/

MariaDB Foundation - MariaDB.org

• zip 파일로 설치하였을 경우 몇 가지 설정을 해야 한다.
  • ./bin/mariadb-install-db.exe --datadir=위치 지정 --service=mariaDB --port=3306 --password=패스워드 지정

MariaDB 사용하기

• DB 생성하기

  • 

• 의존성 추가

  • 

    OrderService의 Pom.xml에 mariaDB 의존성 추가

• H2-console로 접속하기

  • 

    실제 운영중인 mariaDb로 접속

  • 

    user내용 생성

KafkaConnect 설치하기

• kafka Connect 설치하기
  • curl -O http://packages.confluent.io/archive/6.1/confluent-community-6.1.0.tar.gz
  • tar xvf confluent-community-6.1.0.tar.gz
  • ./bin/windows/connect-distributed.bat ./etc/kafka/connect-distributed.properties

  • 

    4개의 topic이 추가되어 있다

• 실행 시 오류 해결 방법 
  • ./bin\window\kafka-run-class.bat 파일 수정
  •  

    

    rem Classpath addition for core부분을 찾아 그위에 해당 코드를 넣는다

• JDBC Connector 설치하기
  • https://docs.confluent.io/5.5.1/connect/kafka-connect-jdbc/index.html

  • JDBC Connector (Source and Sink) for Confluent Platform | Confluent Platform 5.5.1

• etc/kafka/connect-distributed.properties 파일 마지막에 plugin 정보 추가
  • -plugin.path=connect-jdbc lib 폴더

  • 

    마지막에 추가

  • 

    해당경로

• JdbcSourceConnector에서 MariaDb를 사용하기 위해 mariadb 드라이버 복사
  • /share/java/kafka 폴더에 mariadb-java-client-2.7.2.jar 파일 복사

  •