기본적으로 REST API는 8083 포트에서 사용할 수 있으며 보안되지 않습니다. ( 인증 기능 추가 가능 )REST API는 모든 요청 본문이 콘텐츠 유형 application/json 을 사용할 것으로 예상하며모든 응답도 해당 콘텐츠 유형을 사용하여 보냅니다. 목차 커넥터 생성 및 삭제하기커넥터 구성커넥터의 수명 주기 제어커넥터 오프셋 나열문제 디버깅 커넥터 생성 및 삭제클러스터의 버전을 확인$ curl localhost:8083{ "version": "3.5.0", "commit": "c97b88d5db4de28d", "kafka_cluster_id": "PSCn87RpRoqhfjAs9KYtuw"} 사용할 수 있는 커넥터 플러그인 확인기본적으로 여기에는 Kafka Connect 클러스터에 설..

데이터 변환데이터 파이프라인을 통해 데이터가 흐를 때 두가지 패턴을 사용한다.ETL: 저장 공간이 제한된 시스템ELT: 오랫동안 데이터가 원본을 유지하여 다른 목적으로 재사용 용이 카프카 커넥트는 이동중에 데이터를 변환할 수 있는 트랜스포메이션이 있으며 이는 ETL에 적합하다.아래는 민감한 개인정보를 숨김 처리하는 카프카커넥트 예시이다. 시스템간 데이터 맵핑데이터파이프라인을 구축할 때 서로 시스템간의 데이터를 맵핑을 꼼꼼히 따져봐야하며이를 위해 카프카커넥트 태스크와 카프카의 파티션 사이의 상호작용을 고려해야 한다. 단일 태스크와 단일 파티션은 순서를 보장한다. 중복을 방지하기 위해 각각의 데이터를 읽는 복수의 태스크 개별 소스 커넥터는 어느 파티션으로 보낼지 직접 선택하거나 이미 정의된 파티셔닝 전략을..