大數據教程(四)—— Hadoop集羣VSFTP和SecureCRT安裝配置

前言

經過前三篇文章的介紹,已經通過VMware安裝了Hadoop集羣環境,當然,我相信安裝的過程肯定遇到或多或少的問題,這些都需要自己解決,解決的過程就是學習的過程,本篇的來介紹幾個Hadoop環境中需要用到的軟件,確切的說是兩款:VSFTP和SecureCRT。

閒言少敘,進入本篇的正題。

背景

這裏簡要說明下這兩款軟件的作用。

1、VSFTP這個從字面就能理解就是搭建FTP服務器用的,爲什麼要搭建FTP服務呢?

我相信,如果按部就班的按照我之前的文章全裝Hadoop的童鞋會發現一個很繁瑣的過程,那就是各種配置文件的更改和拷貝,並且,因爲我們是在Linux系統中操作,所以需要各種命令的熟練操作,是不是很噁心!

所以爲了方便上述流程的操作,就需要搭建VSFTP環境,並且配合Notepad++這款軟件的使用,會讓你插上夢想的翅膀….飛啊飛…

當然,還有一點就是,一般我們都是遠程操作的,FTP上傳下載文件就更方便了。

2、SecureCRT這個軟件是幹嘛用的?

先來段官網的介紹,SecureCRT是一款支持SSH(SSH1和SSH2)的終端仿真程序,同時支持Telnet和rlogin協議。SecureCRT是一款用於連接運行包括Windows、UNIX和VMS的遠程系統的理想工具。通過使用內含的VCP命令行程序可以進行加密文件的傳輸。

說的簡單點,就是通過這個軟件遠程操作CentOS操作系統。我相信用弄過Linux操作系統,這個應該很熟悉。

技術準備

VMware虛擬機、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++

安裝流程

以上軟件需要自行從網上下載,文章最後也能給出部分軟件的下載附件。

下面,咱們進去分佈式系統的詳細操作過程。

1、首先來配置VSFTP環境(root)。

這裏的操作需要提權用超級管理員進行安裝,而且一般只需要配置Master主機就可以了,因爲大部分操作通過Master就可以進行控制。

  • 第一步就是檢查VSFTP是否已經安裝,檢查方法如下。
chkconfig | grep vsftpd

hadoop

如果跟上面的過程沒有返回任何結果,那麼說明當前機器沒有安裝VSFTP。

  • 第二步,利用yum命令直接下載安裝

這裏,如果經過上一步驟檢查,發現安裝,則利用yum命令進行下載安裝,需要提示的是:這裏機器需要聯網。

yum -y install vsftpd

hadoop

經過,上述步驟就可以成功的安裝VSFTP軟件了。

下一步,就是進行一些FTP的配置了。

  • 第三步,手動創建FTP軟件的Log日誌文件。

這裏需要手動的創建一個文件,目的是來記錄Log日誌。我們知道在Linux系統中一般所有的臨時文件都放在系統自帶的var目錄下。

touch  /var/log/vsftpd.log

hadoop

  • 第四步,將FTP的服務設置成自啓動,這樣就能開機就能使用。

這裏,需要將我們下載的VSFTP服務設置成自啓動,方便與我們的的使用。

chkconfig  vsftpd on

hadoop

經過上面的驗證,我們已經確保vsftpd服務已經開機自啓動。

當然,對於這個服務的啓動和關閉,可以通過如下方式進行手動的設置。但是這種設置只要一重啓服務器就會失效。

啓動ftp服務:service vsftpd start

查看ftp服務狀態:service vsftpd status

重啓ftp服務:service vsftpd restart

關閉ftp服務:service vsftpd stop

  • 第五步,配置VSFTP服務的配置文件。
ls /etc/vsftpd

hadoop

進入vsftpd的安裝目錄,需要配置vsftpd.conf文件。

vim /etc/vsftpd/vsftpd.conf
anonymous_enable=YES --> anonymous_enable=NO //不允許匿名用戶訪問,默認是允許
xferlog_file=/var/log/vsftpd.log #設定vsftpd的服務日誌保存路徑。注意,該文件默認不存在。必須要手動touch出來
#idle_session_timeout=600 --> idle_session_timeout=600 //會話超時,客戶端連接到ftp但未操作,默認被註釋掉,可根據個人情況修改
#async_abor_enable=YES --> async_abor_enable=YES //支持異步傳輸功能,默認是註釋掉的,去掉註釋
#ascii_upload_enable=YES --> ascii_upload_enable=YES //支持ASCII模式的下載功能,默認是註釋掉的,去掉註釋
#ascii_download_enable=YES --> ascii_download_enable=YES //支持ASCII模式的上傳功能,默認是註釋掉的,去掉註釋
#ftpd_banner=Welcome to blah FTP service //FTP的登錄歡迎語,本身是被註釋掉的,去不去都行
#chroot_local_user=YES --> chroot_local_user=YES
//禁止本地用戶登出自己的FTP主目錄,本身被註釋掉,去掉註釋

按照上面的步驟進行配置就可以了。

hadoop

最後,給出一些其它配置的信息,可以根據自己需要進行配置。

local_enable=YES //允許本地用戶訪問,默認就是YES,不用改
write_enable=YES //允許寫入,默認是YES,不用改
local_umask=022 //上傳後文件的權限掩碼,不用改
dirmessage_enable=YES //開啓目錄標語,默認是YES,開不開無所謂,我是默認就行
xferlog_enable=YES //開啓日誌,默認是YES,不用改
connect_from_port_20=YES //設定連接端口20
xferlog_std_format=YES //設定vsftpd的服務日誌保存路徑,不用改
pam_service_name=vsftpd //設定pam服務下vsftpdd的驗證配置文件名,不用改
userlist_enable=YES //拒絕登錄用戶名單,不用改
TCP_wrappers=YES //限制主機對VSFTP服務器的訪問,不用改(通過/etc/hosts.deny和/etc/hosts.allow這兩個文件來配置)

到此,我們的VSFTP軟件已經安裝完成,下面我們就來驗證一下。

  •  第六步,驗證VSFTP服務。

其實這裏驗證的方式就比較多了,比如我們常用的FTP軟件都可以,或者你直接在命令行裏面敲FTP命令驗證也是可以的;

這裏我們直接使用Notepad++軟件進行編輯,因爲我們的大部分操作都是對文件進行編輯,所以這裏就推薦這個了。

關於,Notepad++軟件的配置使用,這裏就不介紹了,很簡單,綠色軟件下載下來就能使用,連安裝都不需要。

hadoop

點擊按鈕,進行FTP配置,過程很簡單,這裏我就不贅述了。

hadoop

其它選項,一般默認就可以了,當然可以根據需要自行配置。

hadoop

這裏,我再鏈接的時候提示連接失敗,所以這裏需要幾個點需要配置一下:

<1>關閉防火牆。<2>關閉SELinux服務,編輯 “/etc/selinux/config”文件,設置”SELINUX=disabled”。

然後最重要的一點就是:記得在配置完成配置文件之後,一定要重啓VSFTP服務!!!實在不行,就重啓服務器。

腳本如下:

service vsftpd restart

hadoop

然後,再嘗試進行重新連接。

hadoop

好,至此,我們已經能夠通過FTP直接連接到我們的Hadoop Master主機的目錄了,但是從上面的界面可以看到這裏默認的目錄只是hadoop用戶進入的目錄。

顯然,這樣是不行,因爲我們配置的信息基本都是分佈於系統的/etc目錄下,所以我們需要將VSFTP的默認設置路徑進行更改。

在配置文件中增加以下內容:

# add root path
local_root=/
chroot_local_user=YES
anon_root=/

然後,重啓VSFTP的服務,重新連接服務器就可以了。

hadoop

看上去是不是清爽多了。在這裏,我們更改配置文件就簡單多了,會用記事本程序就可以操作,而且避免了一些複雜的linux命令,神馬Vim等,讓他們去死。

大數據

hadoop

看上去是不是清爽多了,而且上傳和下載個文件都是那麼容易的。

所以,總之一句話:這款軟件你值得擁有!

2、使用SecureCRT軟件遠程管理Linux操作系統

這裏關於 SecureCRT軟件的使用就很簡單了,基本沒有啥複雜的配置,就是一個遠程操作軟件,屬於用戶密碼就可以直接操作。

更主要的這款軟件和上面的Notepad++一樣,純綠色版的,直接雙擊就可以使用。

下面,我們來演示下。

  • 點擊按鈕,創建回話

hadoop

  • 然後, 編輯連接信息,記住這裏要選擇SSH2這種方式。

hadoop

  • 編輯連接信息,輸入用戶名

hadoop

  • 最後,選擇一種FTP連接協議,這裏選擇默認就可以了。

hadoop

  • 給當前的連接起一個名字就可以了。

hadoop

在完成配置的時候,記得將如下兩個選項勾選上。

hadoop

  • 然後選擇相應的服務器,連接就可以了,這裏一般我們需要管理多臺服務器,所以按照上面的步驟將所需要的都進行配置。

hadoop

在第一次連接的時候,需要生成密鑰,這裏記得選擇接受並保存按鈕。這樣下次就不需要輸入任何密碼了。

hadoop

連接成功之後就是上面的德行了,是不是很酷?

哈哈…這裏還需要幾個小細節的設置,來提示下,首先顯示的字體和顏色,需要從這裏設置:

hadoop

這裏選擇的仿真終端要選擇Linux,告訴軟件,我連接的是Linux系統。讓他自動識別某些命令。

hadoop

然後,就是字符編碼和顯示字體,顏色等了,可以根據自己喜好進行選擇,但是編碼方式一定要選擇UTF-8這種方式,因爲只有這種方式顯示的中文文件才不至於亂碼!

hadoop

然後,就可以在窗口中進行命令的操作了。簡單大氣,非常實用的一款軟件。

hadoop

然後,就是各種玩了。

結語

此篇先到此吧,關於Hadoop大數據集羣的搭建後續依次介紹,比如利用Zookeeper搭建Hadoop高可用平臺、Map-Reducer層序的開發、Hive產品的數據分析、Spark的應用程序的開發、Hue的集羣壞境的集成和運維、Sqoop2的數據抽取等,有興趣的童鞋可以提前關注。

本篇主要介紹了在我們日常進行遠程Linux系統管理所需要的兩款實用軟件…當然,這些只是一些工具,所帶來的好處就是方便操作。這裏需要強調的是:基礎積累很重要!

編輯推薦:

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章