(2번의 host 를 새롭게 추가 할경우)

1. SSH 설정 및 1번의 ssh 설정 복사필요~ (AMBARI 설치 참고)

2. Repoistery setting 추가, /etc/yum.repos.d/ 경로의 repo를 local repo로 재구성 필요(다른서버참고)
3. data01 mount  ambari 설치 참고 (sdb1)

warning 해결 필요

      3. 2번서버의 JDK 설치 (/usr/jdk/   /usr/jdk64/ 경로에  기존 JDK 파일 복사 또는 yum install(?))

The following registered hosts have issues related to JDK

JDK not found at /usr/jdk64/jdk1.8.0_112/

       4. THP 이슈

The following hosts have Transparent Huge Pages (THP) enabled. THP should be disabled to avoid potential Hadoop performance issues.

Transparent Huge Pages

5.ntpd 이슈

The following services should be up

ntpd or chronyd

ssh 접속

cmd 열어서

window ssh 툴킷(?)설치

ex

ssh -p 3000 -D 1080 -q -C root@14.63.172.232

id/pw 치고

chrome 에 아래와 같이 ㅇ파라미터 입력

"C:\Program Files (x86)\Google\Chrome\Application\chrome.exe" swinno01:8080 --proxy-server="socks5://localhost:1080"   --host-resolver-rules="MAP * 0.0.0.0 , EXCLUDE localhost"   --user-data-dir=c:/temp

PTABLES 비활성화

서버간 통신을 위해 iptables 비활성화

SSH 설정

master node

ssh 공인키 생성

slave node

root 디렉토리 아래 .ssh폴더를 생성한뒤 authorized_keys라는 파일을 만들어 master node의 id_rsa.pub파일 내용을 붙여넣는다.

AMBARI 설치

기본 설정

1. slave node에 `authorized_keys` 파일 생성하고, 이 파일에 앞서 생성한 master node의 퍼블릭키 내용을 붙여넣기 한다.

   vim /root/.ssh/authorized_keys

   authorized_keys

   #master node의 public key 내용을 붙여넣기함. AAAAB3NzaC1yc2EAAAABIwAAAQEA2va8ON20pT/mMvCW9NAgIwYKM0/fq5tAZKYk ...생략...

2. 디스크 설정

   authorized_keys

   mkfs -t ext4 /dev/xvdb mkdir /data01 mount /dev/xvdb /data01

3. 마운트 자동 등록

   authorized_keys

   vim /etc/fstab

   fstab

   # 파일내용 끝에 아래 내용 추가 /dev/xvdb /data01 ext4 noatime 0 0

JDK 설치

JDK 설치

java rpm 설치파일 다운로드

rpm 파일 설치

.bash_profile 파일 수정

ulimit 설정

오픈 파일 개수 확인 후 높게 설정

NTP 설정

시간 동기화를 위해 ntp 를 설치 및 설정한다.

설치 확인

AMBARI 설치

• 참고 : https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/install-ambari-server-rhel6.html

yum repository 설정

아래 링크를 참고하여 ambari버전과 os타입에 맞는 ambari yum repo 파일을 /etc/yum.repos.d/ambari.repo 경로에 복사

https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bkambari-installation/content/ambarirepositories.html

ambari 설치

ambari setup

ambari 구동

postgre sql

postgresql 설치

참고: https://www.postgresql.org/download/linux/redhat/

• version 9.5
• platform centos6

jdbc connector 설정

ambari master

jdbc connector 파일을 받아 설정.

postgre 설치 서버

postgre.conf 설정 변경 (파일위치: /var/lib/pgsql/9.5/data/postgresql.conf)

pghba.conf 설정 변경 (파일위치: /var/lib/pgsql/9.5/data/pg_hba.conf)

postgre - hive 설정

postgre 실행

• sudo su postgres
• psql -d postgres -U postgres

hive 사용자 생성

• create user hive with password 'password';

hive database 생성

• create database hive;

Ambari cluster 설정

클러스터 생성

로그인 후 나오는 첫 페이지에서 launch install wizard를 실행해 설치 마법사 실행

(그림1)

Get Started

클러스터 이름 설정

(그림2)

이름 : bigdata_mms

Select Version

상관없는 OS 관련 정보는 delete.

repository 주소를 설치한 repository url 로 변경(/etc/yum.repos.d/ambari-hdp-1.repo) 참고

• http://bigdata07.mms.com/HDP-2.6-repo-1

• http://bigdata07.mms.com/HDP-UTILS-1.1.0.22-repo-1

(그림3)

Install Options

host name 추가

ssh key(ambari master에서 생성한 private key 정보 입력)

(그림4)

host list

bigdata01.mms.com
bigdata02.mms.com
bigdata03.mms.com
bigdata04.mms.com
bigdata05.mms.com
bigdata06.mms.com
bigdata07.mms.com
bigdata08.mms.com
bigdata09.mms.com
bigdata10.mms.com

Confirm Hosts

기도

(그림5)