환경 가상머신 : Virtualbox 6.2.12 운영체제 : CentOS-7-x86_64-Everything-2003.ios 3대설치 각 host는 hadoop01, hadoop02, hadoop03으로 지정 1. virtual machine에 centOS-7을 올리고 설치 2. Java설치 카프카를 설치하기 전 주키퍼(zookeeper)를 설치해야 하는데, 주키퍼는 자바(java)애플리케이션이기에 먼저 설치해준다. $ yum -y install java-1.8.0-openjdb 3. 호스트 이름변경 vi /etc/hosts를 열어 111.11.11.1111 hadoop01 222.22.22.2222 hadoop02 333.33.33.3333 hadoop03 을 추가한다. ( 3대 서버 모두 ) 4. ..

카프카는 이벤트스크리밍(Event Streaming)기반 메세징시스템(Messaging System)으로 실시간 데이터를 저장, 조작, 다른목적지로 배치작업 등을 하기에 용이하다. 메세징시스템이란? 메세징시스템은 한 어플리케이션에서 다른 어플리케이션으로 데이터를 전송하는 역할을 한다. 분산메세징시스템은 메세지 큐를 기반으로 어플리케이션과 메세지 큐 사이에 비동기적(Asynchronously)으로 작동한다. 보통 2개의 타입의 메세징패턴이 제공되는데 포인트 투 포인트(point-point)와 게시구독(pub-sub)시스템이다. 포인트 투 포인트 메세징시스템(point to point messaging system) 대표적인 예로 주문처리시스템을 생각하면 된다. 한 명 이상의 소비자가 큐에 있는 메세지를 소..