ambari 설치

PTABLES 비활성화

서버간 통신을 위해 iptables 비활성화

# 서버 재기동시 iptable 실행 x chkconfig iptables off   # 실행중인 iptables 종료 service iptables stop

SSH 설정

master node

ssh 공인키 생성

ssh-keygen -t rsa

slave node

root 디렉토리 아래 .ssh폴더를 생성한뒤 authorized_keys라는 파일을 만들어 master node의 id_rsa.pub파일 내용을 붙여넣는다.

AMBARI 설치

기본 설정

1. slave node에 `authorized_keys` 파일 생성하고, 이 파일에 앞서 생성한 master node의 퍼블릭키 내용을 붙여넣기 한다.

   vim /root/.ssh/authorized_keys

   authorized_keys

   #master node의 public key 내용을 붙여넣기함. AAAAB3NzaC1yc2EAAAABIwAAAQEA2va8ON20pT/mMvCW9NAgIwYKM0/fq5tAZKYk ...생략...

2. 디스크 설정

   authorized_keys

   mkfs -t ext4 /dev/xvdb mkdir /data01 mount /dev/xvdb /data01

3. 마운트 자동 등록

   authorized_keys

   vim /etc/fstab

   fstab

   # 파일내용 끝에 아래 내용 추가 /dev/xvdb /data01 ext4 noatime 0 0

JDK 설치

JDK 설치

java rpm 설치파일 다운로드

rpm 파일 설치

yum localinstall jdk-8-linux-x64.rpm

.bash_profile 파일 수정

vim .bash_profile # 파일 오픈

.bash_profile

# .bash_profile에 아래 내용 추가 export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64 export SPARK_MAJOR_VERSION=2

변경 내용 적용

source .bash_profile

ulimit 설정

오픈 파일 개수 확인 후 높게 설정

#ulimit 확인 ulimit -Sn

#ulimit 10000으로 증가 ulimit -n 10000

NTP 설정

시간 동기화를 위해 ntp 를 설치 및 설정한다.

# 설치 확인 rpm -qa ntp

# 설치 안된 경우 설치 yum install ntp

설치 확인

[root@zetawiki ~]# whereis ntp ntp: /etc/ntp /etc/ntp.conf [root@zetawiki ~]# which ntpq /usr/sbin/ntpq [root@zetawiki ~]# which ntpdate /usr/sbin/ntpdate [root@zetawiki ~]# which ntpd /usr/sbin/ntpd [root@zetawiki ~]# service ntpd status ntpd is stopped

AMBARI 설치

• 참고 : https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/install-ambari-server-rhel6.html

yum repository 설정

아래 링크를 참고하여 ambari버전과 os타입에 맞는 ambari yum repo 파일을 /etc/yum.repos.d/ambari.repo 경로에 복사

https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bkambari-installation/content/ambarirepositories.html

ambari 설치

yum install ambari-server

ambari setup

ambari-server setup

ambari 구동

ambari-server start

postgre sql

postgresql 설치

참고: https://www.postgresql.org/download/linux/redhat/

• version 9.5
• platform centos6

yum install https://download.postgresql.org/pub/repos/yum/9.5/redhat/rhel-6-x86_64/pgdg-centos95-9.5-3.noarch.rpm

yum install postgresql95 postgresql95-server

service postgresql-9.5 initdb chkconfig postgresql-9.5 on service postgresql-9.5 start

jdbc connector 설정

ambari master

jdbc connector 파일을 받아 설정.

wget https://jdbc.postgresql.org/download/postgresql-42.2.2.jar ambari-server setup --jdbc-db=postgres --jdbc-driver=/postgresql-42.2.2.jar #파일 다운로드 경로

postgre 설치 서버

postgre.conf 설정 변경 (파일위치: /var/lib/pgsql/9.5/data/postgresql.conf)

#listen_address 설정을 아래와 같이 변경 listen_address='*'

pghba.conf 설정 변경 (파일위치: /var/lib/pgsql/9.5/data/pg_hba.conf)

#설정파일 제일 마지막 부분에 아래 설정 추가 host    hive            hive            0.0.0.0/0               md5

# root에서 hdfs 유저로 사용자 변경 su hdfs # root 사용자가 접근 가능한 hdfs 폴더 생성 [hdfs@swinno01 resources]$ hadoop dfs -mkdir /user/root [hdfs@swinno01 resources]$ hadoop dfs -chown root /user/root [hdfs@swinno01 resources]$ hadoop dfs -ls /user/root

postgre - hive 설정

postgre 실행

• sudo su postgres
• psql -d postgres -U postgres

hive 사용자 생성

• create user hive with password 'password';

hive database 생성

• create database hive;

Ambari cluster 설정

클러스터 생성

로그인 후 나오는 첫 페이지에서 launch install wizard를 실행해 설치 마법사 실행

(그림1)

Get Started

클러스터 이름 설정

(그림2)

이름 : bigdata_mms

Select Version

상관없는 OS 관련 정보는 delete.

repository 주소를 설치한 repository url 로 변경(/etc/yum.repos.d/ambari-hdp-1.repo) 참고

• http://bigdata07.mms.com/HDP-2.6-repo-1

• http://bigdata07.mms.com/HDP-UTILS-1.1.0.22-repo-1

(그림3)

Install Options

host name 추가

ssh key(ambari master에서 생성한 private key 정보 입력)

(그림4)

host list

bigdata01.mms.com
bigdata02.mms.com
bigdata03.mms.com
bigdata04.mms.com
bigdata05.mms.com
bigdata06.mms.com
bigdata07.mms.com
bigdata08.mms.com
bigdata09.mms.com
bigdata10.mms.com

Confirm Hosts

기도

(그림5)