구축 목표] 실시간으로 Source DB의 데이터가 변할 때 Debezium Kafka Connecter 를 통해 consumer 에게 메세지 보내고 해당 데이터 ( Json 형식의 string type) 을 paylaod 부분 추출하여 MongoDB에 저장. 주요 과제] kafka connector 에서 제공되는 log는 json 형식의 굉장히 긴 String 값입니다. debezium document에서 제공되는 key를 접근하는 방법 탐구, 및 디비 저장 구현 예상도] 구축 환경 window - Producer ] - DB : MongoDB - zookeeper server - Kafka server - Kafka connect - Debezium connector window- Consumer ]..

구축 목표] 실시간으로 DB의 데이터가 변할 때 kafka 를 통해 consumer 에게 메세지 보내기. 구현 예상도] 구축 환경 window - Producer ] - DB : MongoDB - zookeeper server - Kafka server - Kafka connect - Debezium connector Linux - virtualBox - Consumer ] - Kafka server Connector가 정상적으로 연결이 되었다면, DB 구조인 Inventory 안에 Customer 를 바라보고 CDC가 대기중 일 것입니다. 그럼 해당 topic을 확인해 보겠습니다. 1. consumer 부분인 Linux 환경] kafka 가 설치된 곳에서 다음 명령어 실행 해당 kafka server에..

구축 목표] 실시간으로 DB의 데이터가 변할 때 kafka 를 통해 consumer 에게 메세지 보내기. 구현 예상도] 구축 환경 window - Producer ] - DB : MongoDB - zookeeper server - Kafka server - Kafka connect - Debezium connector Linux - virtualBox - Consumer ] - Kafka server Zookeeper, Kafka Server 설치는 다음 포스트 참고 https://yn971106.tistory.com/81 [Kafka]_설치 와 메세지 전송 테스트 개발환경] 서버 : wsl2로 설치한 Centos * virtual box 로 Linux 설치하여도 무방함 zookeeper , kafka ..

구축 목표] 실시간으로 DB의 데이터가 변할 때 kafka 를 통해 consumer 에게 메세지 보내기. 구현 예상도] 구축 환경 window - Producer ] - DB : MongoDB - zookeeper server - Kafka server - Kafka connect - Debezium connector Linux - virtualBox - Consumer ] - Kafka server 이번에는 Mongodb를 설치해보겠습니다. Mongodb는 tutorial의 Mongodb를 사용하였습니다. Debezium 에서 제공하는 tutorial https://debezium.io/documentation/reference/stable/tutorial.html Tutorial :: Debezium..

구축 목표 실시간으로 DB의 데이터가 변할 때 kafka 를 통해 consumer 에게 메세지 보내기. 구현 기술 CDC : Change Data Capture 실시간 데이터 캡쳐 CDC를 사용하기 위해서는 DB를 바라보는 Kafka connect가 필요하다. 구글링 결과 MongoDB 에서 지원하는 MongoDB Kafka Connector 가 있고 https://www.mongodb.com/docs/kafka-connector/current/ MongoDB Kafka Connector — MongoDB Kafka Connector Docs Home → MongoDB Kafka ConnectorThe MongoDB Kafka connector is a Confluent-verified connector..