Hadoop配置環境篇

用於查詢所有安裝的jar包

rpm -qa | grep java
rpm -qa | grep java | xargs sudo rpm -e --nodeps   (有依賴)

解壓文件

tar -zxvf ...(壓縮的文件) -C  /opt/module(目標的文件夾)

解釋:
以後的安裝包的壓縮包全部放到/opt/software,然後所以解壓後的安裝包放到/opt/module文件夾下;
-zxvff的含義:
z:壓縮編碼gzip
x:解壓
v:信息
f:指定一個文件

hadoop裏面:
etc:配置文件
bin:可執行文件
lib:庫,放本地庫文;所以hadoop依賴於本地庫文件,這就是hadoop需要編譯的原因,hadoop並不是一個純粹的java軟件
sbin:腳本
share:所有的jar包都在share文件夾裏面,這是最重要的

share裏面:
doc:文檔
hadoop:文體

hadoo裏面:
common, hdfs, httpfs, kms, mapreduce, tools, yarn

設置SSH免密登錄

SSH的含義:
一種通信協議,Secure Shell(安全外殼協議,簡稱SSH),一種網絡傳輸協議;可在不安全的網絡服務中提供安全的傳輸環境。
SSH以非對稱加密實現身份驗證;
對稱加密:即加密和解密的密鑰是同一個;這裏有一個笑點:密鑰的讀法其實是mi yue,但是被誤讀成了mi yao ,hhh.
非對稱加密:加密和解密用得一定是不同的密鑰。
列子一個典型的非對稱的加密算法:rsa加密算法,讓人感受到數學的魅力,hhh.
爲什麼會出現非對稱加密:
原因是出現了這樣的需求;當小李想要發私密的信息給小王的時候,然後你得把解密的密鑰發給他,他才能解讀,那麼問題來了,發信息的時候是明文,如果有人竊聽到了這個信息,那麼如果使用對稱加密兩人所有的信息都會被竊聽到,但是如果使用非對稱加密,你只需要把密鑰B發給小王,然後把密鑰A留着,這樣小王發給小李的信息就永遠也不會泄露,泄露的只可能是小李發給小王的信息,這樣保密性就提高了。

(1)用於生成一個公鑰

ssh-keygen -t rsa

然後後面一直回車,這樣就生成了一對密鑰。
knon_hosts:記錄見過的主機

(2)實現從hadoop 發送 hadoop1信息,把B發給hadoop1

ssh-coopy-id hadoop103(由於前面沒有配置成功所以需要直接IP地址)

使用上面的方法,當虛擬機太多的時候,輸密碼的時候不安全,另外步驟也非常的重複,現在有一種簡單的方法時間指定虛擬機中間的ssh連接:

ssh-copy-id IP地址(這裏直接填自己主機的IP地址)
xsync .ssh

上面操作的含義是將.ssh整個文件夾送到所有集羣上的主機.這樣所有的機子就都可以相互訪問了。但是這個方法,最好不要在公網上操作。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章