條件
採用64位Oracle Linux 6.4, JDK:1.8.0_131 64位, Hadoop:2.7.3
Spark集羣實驗環境共包含3臺服務器,每臺機器的主要參數如 表所示:
服務器 | HOSTNAME | IP | 功能 |
---|---|---|---|
spark1 | spark1 | 92.16.17.1 | NN/DN/RM Master/Worker |
spark2 | spark2 | 92.16.17.2 | DN/NM/Worker |
spark3 | spark3 | 92.16.17.3 | DN/NM/Worker |
過程
- 在三個節點上,分別以 hadoop 用戶登陸,生成各自的 rsa 公開密鑰和用戶名字信息:
- 在各節點上把生成的公共密鑰按順序導入到 authorized_keys 文件保存:
- 在各節點上把.ssh 目錄的權限從 777 改爲 700,原因在於 ssh 機制異常嚴謹,對文件的權限要求非常嚴格:
注意:以上操作需要在每一個節點上都要準確無誤地執行 - 在 spark1 主節點上執行如圖所示命令,將公開密鑰合併分發給其它主機:
- 最後一步進行驗證,訪問其它主機時如果不需要輸入密碼,就表示 ssh 互信配置成功了: