데이터 & 인프라

Hadoop Daemon 기동 과정

작성자: 김영찬

  • Namenode 가동 -> START-UP 메시지(standby), Zookeeper에 Namenode 를 standby 상태로 기록
  • Load FsImage : 가장 최근 저장된 스냅샷 반영
  • Journalnode의 Edit Log로 FsImage 최신화, Edit Log는 최신 스냅셧 이후 블록 변경 이력 포함
  • Namenode에 메타데이터(FsImage) 정보 적재 완료, HDFS내 분산 데이터블록에 대한 정보 메모리 적재
  • Safe Mode -> 블록 최소 복제수 등 확인 -> 해제
  • Configuration로 HA namenode(들)을 Standby 시작, Edit Log 2분 주기 rolling. Checkpoint thread 시작,

Checkpoint thread는 주기적으로 Edit log를 FsImage에 반영하여 active namenode에 전달 갱신

  1. Datanode의 요청에 의해 Namdnode의 네트워크 토폴로지에 Datanode 목록 등록

  2. Datanode의 블록 스캔 및 Namenode 보고 및 매핑, 데이터 블록맵(메타데이터와 Datanode 위치) 완성

  3. HA 구성된 namenode중 하나에 별도의 HAAdmin 프로세스를 통해 FailOver 명령 전송,

  4. 한대가 standby에서 active 상태로 변경. Jounalnode 연결을 새로 맺고 블록 변경을 Edit log에 기록, zookeeper에 namenode 상태가 active로 변경. Active 이상시 Zookeeper에 의해서 자동으로 절체(HA)

  5. Active namenode는 Edit Log 내용을 FsImage에 반영하는 EditLogTailor 동작 중지. EditLogTailor 기능은 Standby namenode에서만 처리

목록으로 돌아가기