大數據hadoop學習-----hadoop上eclipse的安裝及相應的hadoop配置目錄
在進行hadoop的學習時候，利用Java API與HDFS進行交互是學習hadoop的重要步驟，既然需要用到java API與HDFS的交互，那麼我們就需要java的集成環境，eclisp當然是我們的首選啦，本次博客，林君學長主要向大家介紹如何在ubuntu16.04上面安裝eclisp以及進行相應的hadoop配置
一、eclisp的下載及安裝
1、打開我們的ubuntu16.04的軟件商店UK
2、搜索eclipse進行安裝
由於我的已經安裝，所以顯示已安裝，小夥伴們沒有安裝，可以點擊安裝，然後進行等待就好了，他會自動爲你安裝的！
二、創建我們hadoop的java項目
1、打開eclipse
2、選擇我的的工作空間(workspace)
自己選擇一個空間，不一定要用默認的，爲了後續不用再次進行選擇，我們將上面的小方框中打鉤，然後OK
3、創建java項目
1）、選擇“File->New->Java Project”菜單，開始創建一個Java工程，會彈出下圖界面：
2)、點擊next後會出現以下界面，選擇庫，進行添加hadoop所需要的庫
3）、選擇後如下所示：
需要在這個界面中加載該Java工程所需要用到的JAR包，這些JAR包中包含了可以訪問HDFS的Java API。這些JAR包都位於Linux系統的Hadoop安裝目錄下，對於本教程而言，就是在“/usr/local/hadoop/share/hadoop”目錄下。點擊界面中的“Libraries”選項卡，然後，點擊界面右側的“Add External JARs…”按鈕
4、hadoop相關庫的添加
1）、添加 /usr/local/hadoop/share/hadoop/common目錄下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar
2）、添加 /usr/local/hadoop/share/hadoop/common/lib目錄下的所有JAR包
1.進入目錄，ctrl+A進行全選，然後點擊確認！
3）、添加 /usr/local/hadoop/share/hadoop/hdfs目錄下的haoop-hdfs-2.7.1.jar和haoop-hdfs-nfs-2.7.1.jar
4）、添加 /usr/local/hadoop/share/hadoop/hdfs/lib目錄下的所有JAR包
以上步驟，我們所需要的hadoop的包就完全導入了
5）、添加完後，點擊finsh，我們的項目就創建完成啦!
三、添加hadoop的java類
1、點擊項目右鍵選擇new，然後選擇class進行創建
2、輸入包名、類名完成創建
3、將下列代碼寫入類中進行測試
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Hdfs {
public static void main(String[] args){
try{
String fileName = "test";
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
FileSystem fs = FileSystem.get(conf);
if(fs.exists(new Path(fileName))){
System.out.println("文件存在");
}else{
System.out.println("文件不存在");
}
}catch (Exception e){
e.printStackTrace();
}
}
}
注意class的類名是你創建的類名！
上面的代碼只是hadoop環境下的測試代碼，測試文件是否存在的，具體不用管哦！
四、配置運行環境並運行
1、打開終端，切換到hadoop用戶，運行hadoop
su - hadoop
cd /usr/local/hadoop
./sbin/start-dfs.sh
jps
2、鼠標點擊運行按鈕旁邊的小三角，選擇【Run As】進行配置
在彈出的頁面選擇剛剛創建的項目名，然後點擊OK就好，如下所示：
1）、會看到控制檯如下所示：
如上所示，出現文件不存在，我們就完美運行了，警告那些不用管，到這裏，我們的hadoop的java程序就介紹了，接下來，介紹如何把Java應用程序生成JAR包，部署到Hadoop平臺上運行
五、將hadoop的java項目導入到hadoop平臺進行運行
1、在剛纔的終端創建文件夾，放我們的java程序
1）、創建myapp文件夾,並賦予權限
mkdir myapp
chmod 777 myapp
ls
2、將java項目導入我們的hadoop平臺
1）、右擊項目、選擇導出
2）、選擇java---->Runable JAR file
3)、按照下圖選擇，瀏覽，選擇我們創建的myapp文件夾
點擊Browse出現如下界面：
在接下來的界面一直點擊OK就好，如下所示：
3、回到剛剛終端查看是否導入進去了
cd /usr/local/hadoop/myapp
ls
4、終端運行我們的jar的java文件
1）、進入hadoop環境
cd /usr/local/hadoop
2）、運行
./bin/hadoop jar ./myapp/hdfs.jar
3)、或者用運行方式2
java -jar ./myapp/HDFSExample.jar
4）、運行結果如下所示：
和我們在eclipse上面運行的結果一樣，本次實驗就完美結束啦！
以上就是本次博客的全部內容哦，希望對小夥伴學習hadoop上面的java環境有所幫助，遇到問題的小夥伴，記得評論區留言，我看到會給大家解答的！
陳一月的又一天編程歲月^ _ ^