軟件準備信息,詳見Spark2.2.0集羣搭建部署之【軟件準備篇】
基礎配置信息,詳見Spark2.2.0集羣搭建部署之【基礎配置篇】
通過SSH無密訪問來達到集羣中機器相互訪問的目的。首先固定機器的ip地址,避免每次重啓機器ip改變的問題。
通過ifconfig命令查看當前ip地址,若該命令無法使用的話,則需要先安裝net tools。
yum install net-tools
待安裝完畢後,即可查看該ip。
安裝ssh服務
yum install openssh-server -y
service sshd start
開啓防火牆的22端口
firewall-cmd --zone=public --add-port=22/tcp --permanent
service firewalld restart
因爲後續的集羣搭建時,需要開啓更多的防火牆端口,所以直接關閉防火牆服務進行演示,上述步驟可不操作。
關閉防火牆命令:systemctl stop firewalld.service
開啓防火牆:systemctl start firewalld.service
關閉開機自啓動:systemctl disable firewalld.service
開啓開機啓動:systemctl enable firewalld.service
配置master,以及slave1機器的ip以及主機名信息。通過 vi /etc/hosts將兩臺機器的ip進行固定。
192.168.195.129 master
192.168.195.128 slave1
通過 vi /etc/hostname分別將兩臺機器的主機名更改爲master以及slave1。
保存以上兩個指令,使配置生效。
ssh無密證書的操作
在兩臺臺機器中分別執行以下兩個命令,以便無密碼登錄。
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
將 slave1 的公鑰 id_dsa.pub 傳給 master。scp ~/.ssh/id_dsa.pub root@master:~/ssh/id_dsa.pub.slave1
將 slave1的公鑰信息追加到 master 的 authorized_keys文件中。cat id_dsa.pub.slave1 >> authorized_keys
將 master 的公鑰信息 authorized_keys 複製到 slave1 的 .ssh 目錄下。scp authorized_keys root@slave1:~/.ssh/authorized_keys
可以輸入ssh slave1, master 已經不需要密碼就可以登錄到 slave1,
同理,輸入ssh master, slave1也無需密碼即可訪問master機器。