kafka manager

Kafka-manager

github : https://github.com/yahoo/kafka-manager

2018년 8월 현재 kafka 1.1.0 버전 까지 지원한다.

kafka 매니저는 yahoo에서 개발한 kafka 관리 도구이며 아래의 기능을 제공한다.

• 다수의 클러스터 관리
• 간단하게 클러스터 상태 조회 가능(topics, consumers, offsets, brokers, replica distribution, partition distribution)
• Preferred replica election 실행

• 사용할 브로커 선택 옵션을 사용하여 파티션 할당 생성

• 파티션 재할당 (based on generated assignments)
• 토픽 생성시 옵션 설정 가능(0.8.1.1 has different configs than 0.8.2+)
• 토픽 삭제(버전 0.8.2 이상, delete.topic.enable=true 설정시)
• 삭제표시된 토픽리스트 조회 (only supported on 0.8.2+)
• 다수의 토픽에 일괄 파티션생성 및 사용할 브로커 할당
• 다수의 토픽에 파티션 재할당 일괄 실행
• 기존 토픽에 파티션 추가.
• 기존 토픽 설정 업데이트
• (Optional) enable JMX polling for broker level and topic level metrics.
• (Optional) filter out consumers that do not have ids/ owners/ & offsets/ directories in zookeeper.

설치

SBT(simple build tool) 설치

• windows
  
  • 다운로드페이지((https://www.scala-sbt.org/download.html)에서 설치파일을 받아 설치

• CentOS
  참고페이지
  아래 커맨드를 이용해 repo 파일을 받고, yum을 이용해 설치

  $ curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo $ sudo yum install sbt

Kafka-manager 설치

1. 파일 다운로드 : 다운로드페이지에서 압축파일(zip or tar.gz)을 다운로드.

2. 압축해재 후 sbt를 이용해 배포

   C:\dev\kafka-manager>sbt clean dist

    실행 결과

   `sbt run` 명령어를 입력해 실행 가능. 또는 \target\universal 경로에 생성되는 zip 파일을  원하는 경로에 압축 해제

kafka-manager 설정변경

압축 해제한 경로로 이동하여 설정파일을 수정해야 한다.

• 주키퍼 호스트 설정 : conf/application.conf 파일 수정

  conf/application.conf

  #zookeeper 서버가 한 대인 경우 $ kafka-manager.zkhosts="localhost:2181" #사용하는 zookeeper 정보에 맞춰 수정     #zookeeper 서버가 다수인 경우 $ kafka-manager.zkhosts="my.zookeeper.host.com:2181,other.zookeeper.host.com:2181" #쉼표를 이용해 다수의 주키퍼 호스트 입력가능

  더 자세한 내용은 https://github.com/yahoo/kafka-manager#configuration 참조

• JMX port 설정
  kafka-manager에서 metric 정보를 확인하고자 하면 jmx를 활성화 해 주어야 한다. 
  `bin/kafka-server-start.sh` 파일을 열어 JMX 포트 설정을 추가한 뒤 kafka를 재기동 해준다.

  ${KAFKA_HOME}/bin/kafka-server-start.sh

  export JMX_PORT=9999

  
  Kafka Manager UI에 접속해 Clusters메뉴에서 modify 버튼은 클릭해 JMX 사용옵션을 활성화 한다.
  
  

  

  
  

kafka-manager 구동

압축 해제한 경로로 이동해 프로그램을 실행한다.

$ bin/kafka-manager

기본적으로 9000번 포트를 사용하며 실행시 아래 옵션을 통해 설정파일의 위치를 지정하거나 포트를 설정할 수 있다.

$ bin/kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=8080