大數據平臺HDP-2.6.4 安裝 與配置
標籤(空格分隔): 大數據平臺構建
- 一: 關於HDP的介紹
- 二: 系統環境介紹
- 三: 系統環境初始化
- 四: 安裝HDP-2.6.4平臺
- 五: 啓用NameNode HA 與 YARN HA
一:關於HDP的介紹
1.1:hdp 是什麼
HDP全稱叫做Hortonworks Data Platform。
Hortonworks數據平臺是一款基於Apache Hadoop的是開源數據平臺,提供大數據雲存儲,大數據處理和分析等服務。該平臺是專門用來應對多來源和多格式的數據,並使其處理起來能變成簡單、更有成本效益。HDP還提供了一個開放,穩定和高度可擴展的平臺,使得更容易地集成Apache Hadoop的數據流業務與現有的數據架構。該平臺包括各種的Apache Hadoop項目以及Hadoop分佈式文件系統(HDFS)、MapReduce、Pig、Hive、HBase、Zookeeper和其他各種組件,使Hadoop的平臺更易於管理,更加具有開放性以及可擴展性。
官網地址爲:http://zh.hortonworks.com/
1.2 hdp 的封裝的大數據平臺組件
二: 系統環境介紹
2.1:系統主機名
系統: RHEL7.5 X64
---
172.17.100.11 ZY-001.flyfish
172.17.100.12 ZY-002.flyfish
172.17.100.13 ZY-003.flyfish
---
2.2: 安裝整體步驟
1.集羣服務器配置,包括安裝操作系統、關閉防火牆、同步服務器時鐘等;
2.外部數據庫安裝
3.安裝Ambari管理器;
4.安裝HDP集羣;
5.集羣完整性檢查,包括 HDFS 文件系統、MapReduce、Hive 等是否可以正常運行。
三:系統環境初始化
3.1:無密鑰登錄配置
做root用戶無密鑰認證
ssh-keygen ---一直敲回車到最後
cat id_rsa.pub >> authorized_keys
將所有的公鑰導入authorized_keys 分發到 所有的 機器的.ssh/ 下面
然後測試
3.2: 關閉 firewalld,iptables 與 selinux
yum install -y firewall* iptable*
(1) 關閉firewalld
systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd --state
(2) 關閉iptables
iptables -F
systemctl stop iptables.service
service iptables save
systemctl disable iptables.service
(3) 禁用 selinux
sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config
setenforce 0
getenforce 0
sestatus
重啓機器
reboot
3.3 所有機器更改RHEL7.5x64的文件句柄數
vim /etc/security/limits.conf
---
* soft nofile 65535
* hard nofile 1029345
* soft nproc unlimited
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited
---
3.4 生產環境配置chrony 時間同步服務器
所有機器 yum install chrony*
1. ZY-001.flyfish:
vim /etc/chrony.conf 增加
----
註釋掉相關默認的server
server ntp1.aliyun.com iburst
allow 172.17.100.0.0/16
service chronyd start
chkconfig chronyd on
2. ZY-002.flyfish---ZY-003.flyfish 同步zy-001.flyfish
vim /etc/chrony.conf
----
註釋掉默認的server
server 172.17.100.21 iburst
----
service chronyd stop
service chronyd start
chkconfig chronyd on
3.5: hdp 所需軟件下載
ambari-2.6.1.5-centos7.tar.gz
下載地址:
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.5/ambari-2.6.1.5-centos7.tar.gz
HDP-2.6.4.0-centos7-rpm.tar.gz
下載地址:
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.4.0-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.22-centos7.tar.gz
下載地址:
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz
關於 ambari-2.6.1的docs
https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/hdp_26_repositories.html
3.6 安裝jdk1.8.162
tar -zxvf jdk-8u162-linux-x64.tar.gz
mkdir /training
mv jdk1.8.0_162 /training
cd /training
ln -s jdk1.8.0_162 jdk
vim /etc/profile
---
export JAVA_HOME=/training/jdk
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
---
source /etc/profile
java -version
四: 安裝 hdp2.6.4
4.1 : 配置ambari所需安裝源
安裝httpd
yum install -y httpd
service httpd start
chkconfig httpd on
cd /var/www/html/
mkdir ambari
1. ambari 的 yum源
cd /root/hdp
tar -zxvf ambari-2.6.1.5-centos7.tar.gz
mv /root/hdp/ambari /var/www/html/ambari
cd /var/www/html/ambari/ambari/centos7/2.6.1.5-3
cp -p ambari.repo /etc/yum.repos.d/
cd /etc/yum.repos.d
vim ambari.repo
----
#VERSION_NUMBER=2.6.1.5-3
[ambari-2.6.1.5]
name=ambari Version - ambari-2.6.1.5
baseurl=http://172.17.100.21/ambari/ambari/centos7/2.6.1.5-3
gpgcheck=1
gpgkey=http://172.17.100.21/ambari/ambari/centos7/2.6.1.5-3/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
----
4.2 配置hdp和hdp-utils 的源
cd /root/hdp
tar -zxvf HDP-2.6.4.0-centos7-rpm.tar.gz
mv HDP /var/www/html/ambari
cd /var/www/html/ambari/HDP/centos7/2.6.4.0-91/
cp -p hdp.repo /etc/yum.repos.d/
cd /root/hdp
mkdir HDP-UTILS
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C HDP-UTILS
mv HDP-UTILS /var/www/html/ambari/
cd /etc/yum.repos.d/
vim hdp.repo
---
#VERSION_NUMBER=2.6.4.0-91
[HDP-2.6.4.0]
name=HDP Version - HDP-2.6.4.0
baseurl=http://172.17.100.21/ambari/HDP/centos7/2.6.4.0-91/
gpgcheck=1
gpgkey=http://172.17.100.21/ambari/HDP/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://172.17.100.21/ambari/HDP-UTILS/
gpgcheck=1
gpgkey=http://172.17.100.21/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
---
tar -zxvf HDP-GPL-2.6.4.0-centos7-rpm.tar.gz
mv HDP-GPL /var/www/html/ambari
cd /var/www/html/ambari/HDP-GPL/
mv hdp-gpl.repo /etc/yum.repos.d/
cd /etc/yum.repos.d/
vim hdp-gpl.repo
---
#VERSION_NUMBER=2.6.4.0-91
[HDP-GPL-2.6.4.0]
name=HDP-GPL Version - HDP-GPL-2.6.4.0
baseurl=http://172.17.100.21/ambari/HDP-GPL/centos7/2.6.4.0-91/
gpgcheck=1
gpgkey=http://172.17.100.21/ambari/HDP-GPL/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
---
cd /etc/yum.repos.d/
scp ambari.repo hdp.repo hdp-gpl.repo zy-002.flyfish:/etc/yum.repos.d/
scp ambari.repo hdp.repo hdp-gpl.repo zy-003.flyfish:/etc/yum.repos.d/
yum clean all
yum makecache
4.3 安裝mariadb-server 數據庫
yum install -y mariadb-server
systemctl start mariadb
systemctl enable mariadb
mysql_secure_installation
mysql -uroot -pflyfish225.com
ambari 數據庫:
create database ambari character set utf8 ;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
hive 數據庫:
create database hive character set utf8 ;
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;
oozie 數據庫:
create database oozie character set utf8 ;
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;
4.3 安裝jdbc
拷貝jdbc 到 java的目錄
tar -zxvf mysql-connector-java-5.1.44.tar.gz
cd mysql-connector-java-5.1.44
cp mysql-connector-java-5.1.44-bin.jar /usr/share/java/
cd /usr/share/java/
mv mysql-connector-java-5.1.44-bin.jar mysql-connector-java.jar
chmod 777 mysql-connector-java.jar
4.4 安裝ambari
yum install -y ambari-server
vim /etc/ambari-server/conf/ambari.properties
----
增加:
server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar
---
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
ambari-server setup
mysql -uroot -pflyfish225.com
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
4.5 啓動ambari
ambari-server start
4.6 打開ambari的web
http://172.17.100.21:8080
用戶名:admin
密碼: admin
這裏需要注意,主機註冊成功後會對主機進行前置檢查,如果有警告,需要進行檢查並按要求進行相應的修改。
4.7 安裝相關組件
報錯:
請求 libtirpc-lib
wget http://mirror.centos.org/centos/7/os/x86_64/Packages/libtirpc-0.2.4-0.10.el7.x86_64.rpm
wget http://mirror.centos.org/centos/7/os/x86_64/Packages/libtirpc-devel-0.2.4-0.10.el7.x86_64.rpm
rpm -ivh libtirpc-*
Retry
可以按照前面的步驟,增加其它組件,hive/oozie/pig/sqoop/hbase/spark/zeppelin
4.8 執行一個wordcount
su - hdfs
hdfs dfs -mkdir /input
vim wc.input
----
zhangyy hadoop
hadoop spark
yarn spark
----
hdfs dfs -put wc.input /input
hadoop jar /usr/hdp/2.6.4.0-91/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /input/ /output
hdfs dfs -get /output
五:啓用NameNode HA 與 YARN HA
5.1 開啓HDFS 的 HA 策略
先停掉hbase
sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'
sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'
sudo su hdfs -l -c 'hdfs namenode -initializeSharedEdits'
ZY-001.flyfish:
sudo su hdfs -l -c 'hdfs zkfc -formatZK'
ZY-002.flyfish
sudo su hdfs -l -c 'hdfs namenode -bootstrapStandby'