hadoop 과 Yarn

YARN(Yet Another Resource Negotiator) 이란?

• A framework for job scheduling and cluster resource management.
  

YARN 핵심 구성 요소

• Resource Manager(RM)

  • YARN 클러스터의 Master 서버로 하나 또는 이중화를 위해 두개의 서버에만 실행됨

  • 클러스터 전체의 리소스를 관리

  • YARN 클러스터의 리소스를 사용하고자 하는 다른 플랫롬으로부터 요청을 받아 리소스 할당(스케줄링)

• Node Manager(NM)

  • YARN 클러스터의 Worker 서버로 Resource Manager를 제외한 모든 서버에 실행

  • 사용자가 요청한 프로그램을 실행하는 Container를 fork 시키고 Container를 모니터링

  • Container 장애 상황 또는 Container가 요청한 리소스보다 많이 사용하고 있는지 감시(요청한 리소스보다 많이 사용하면 해당 Container를 kill 시킴)

• Application Master(AM)

• • RM과 협상하여 하둡 클러스터에서 자기가 담당하는 어플리케이션에 필요한 리소스를 할당.
  • NM과 협의하여 자기가 담당하는 어플리케이션을 실행하고 그 결과를 주기적으로 모니터
  • 자기가 담당하는 어플이케이션의 실행 현황을 주기적으로 RM에게 보고합니다.

DEV 시스템 구성

• EPC VM 4 식 (CPU: 2 Core, Mem: 4GB, HDD: 80GB)

• Hadoop 3.0 (2017-12-13 GA)

  • 주요 특징 : Erasure Coding in HDFS

• 구현 알고리즘: k-means

•