之前一直想學習hadoop,卻苦於沒時間及安裝的麻煩而把這項任務束之高閣。今天終於重啓HADOOP學習之旅。先把今天安裝hadoop的一些問題總結出來,以備遇到同樣問題的你們能夠參考:
1、系統要求:linux.若不是Linux,則下載個虛擬機,比如oracle virtual box 等。若是win10系統,安裝虛擬linux系統時可能會出現問題,請到bios主板中設置virtual specatrual...(忘了是不是這個單詞),設置爲enter。就能裝64位的虛擬機了。
2、安裝好linux後,下載hadoop。最好是去官網下載,然後解壓,命令好像是:zvxf -hadoop2.7.13.tar.gz .
3.解壓後,下一步就是配置ssh免密碼登錄(先說本機登錄,這個過程我遇到了很多問題).輸入命令:ssh localhost,如果連不通就不成功。
①第一步,生成rsa或dsa公鑰,私鑰.輸入命令:
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ,生成rsa密鑰,密碼爲空,密鑰存放路徑爲~/.ssh/id_rsa.
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,把公鑰寫入到authorized_keys中。
注意:必須把authorized_keys權限設爲600:命令爲chmod 600 ~/.ssh/authorized_keys。
②按理說應該是可以的,但我試了下還是沒成功。提示如下:ssh: connect to host localhost port 22: Connection refused。
可能原因爲:sshd未安裝,sshd未啓動,或防火牆的問題。解決如下:
安裝sshd:sudo apt-get install openssh-server。
啓動:sudo net start sshd 。
檢查並關閉防火牆:sudo ufw disable。
再次輸入命令:ssh localhost.提示連接成功。