[BigData] Apache Zookeeper 정리

1. 정리 목적

• Zookeeper에 대한 기본 개념을 살펴본다.
• Zookeeper의 기본 구성을 살펴본다.
• Zookeeper의 아키텍처를 살펴본다.
• Zookeeper 활용 부분을 살펴본다.

 

2. Zookeeper란?

• 많은 서버에 설치되어 있는 빅데이터 분산 환경을 더욱 효율적으로 관리하기 위하여 서버 간의 정보를 쉽고 안전하게 공유 해 준다.
• 공유된 정보를 이용하여 서버 간의 중요한 이벤트(분산락, 순서제어, 부하 분산, 네임서비스 등)를 관리하면서 상호작용을 조율해 주는 코디네이터 시스템이다.
• Hadoop, HBase, Kafka 등의 분산 노드 관리에 사용되어 진다.

 

3. Zookeeper 구성

• ZNode : Zookeeper Server에 생성되는 파일시스템의 디렉터리 개념, 클라이언트의 요청 정보를 계층적으로 관리 (Version, 접근 권한, 상태, 모니터링 객체 관리 등의 기능 지원)
• Ensemble : 3대 이상의 Zookeeper Server를 하나의 클러스터로 구성한 HA Architecture
• Leader Server : Ensemble 안에는 유일한 Leader Server가 선출되어 존재, 클라이언트의 요청을 받은 Server는 해당 요청을 Leader Server에 전달하고 Leader Server는 모든 Follower Server에게 클라이언트 요청이 전달되도록 보장
• Follower Server : Leader Server 외 나머지 Server로 Leader Server와 메시지를 주고 받으면서 ZNode의 Data를 동기화하고 Leader Server에 문제가 발생한 경우 내부적으로 새로운 Leader를 선출하는 역할 수행
  

 

4. Zookeeper 아키텍처

• Zookeeper는 3대 이상의 홀수 개의 Server로 구성돼야 하며 그 중 반드시 1대는 Leader Server가 되고 나머지 Server는 Follower Server가 된다.
• Follower Server 1에 저장된 ZNode 정보는 Leader Server에 전달되고 Leader Server는 다른 모든 Follower Server에 요청받은 ZNode 정보를 Broadcast 된다.

 

5. Zookeeper 활용

• Zookeeper를 직접적으로 활용하지는 않지만 상기에서 말했듯이 Hadoop(HDFS), HBase, Kafka 등 내부에서 Zookeeper를 활용하여 클러스터 멤버쉽 기능 및 환경셜정의 동기화, 접근 권한, 상태, 모니터링 객체 관리 등 작업을 해주는 소프트웨어이다.

---

※ 참조 url :

- https://devstacks.wordpress.com/2017/04/04/zookeeper-architecture-and-overview/

Zookeeper Architecture and Overview

- [도서]실무로배우는 빅데이터기술 https://product.kyobobook.co.kr/detail/S000001766428

실무로 배우는 빅데이터 기술 | 김강원 - 교보문고