條件
採用64位Oracle Linux 6.4, JDK:1.8.0_131 64位, Hadoop:2.7.3
Spark集羣實驗環境共包含3臺服務器,每臺機器的主要參數如 表所示:
服務器 | HOSTNAME | IP | 功能 |
---|---|---|---|
spark1 | spark1 | 92.16.17.1 | NN/DN/RM Master/Worker |
spark2 | spark2 | 92.16.17.2 | DN/NM/Worker |
spark3 | spark3 | 92.16.17.3 | DN/NM/Worker |
過程
以hadoop用戶登陸,切換到 root,修改/stage目錄所有者爲 hadoop 用戶, 接着授予 hadoop 用戶對 /usr/lib/java 目錄的完全權限:
然後把 JDK 安裝包拷貝到 /usr/lib/java 目錄下,並進行解壓。解壓後可以看到 jdk1.8.0_181 目錄,如圖所示:
再次切換到 root 用戶,修改 /etc/profile 配置文件,添加如圖所示的項:
最後,重啓系統,驗證 java 信息,如圖所示:
在 spark2 和 spark3 主機上分別進行 JDK 的安裝