Java創建hdfs文件實例

1.創建文件
過"FileSystem.create（Path f）"可在HDFS上創建文件，其中f爲文件的完整路徑。

package com.hebut.file;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
publicclassCreateFile {
publicstaticvoidmain(String[] args) throws Exception {
Configuration conf=newConfiguration();
FileSystem hdfs=FileSystem.get(conf);
byte[] buff="hello hadoop world!\n".getBytes();
Path dfs=newPath("/test");
FSDataOutputStream outputStream=hdfs.create(dfs);
outputStream.write(buff,0,buff.length);
}
}

複製代碼

運行結果如圖1-2-1和圖1-2-2所示。

　　1）項目瀏覽器

圖1-2-1 運行結果（1）

　　2）SecureCRT結果

圖1-2-2 運行結果（2）

2 創建HDFS目錄

　　通過"FileSystem.mkdirs（Path f）"可在HDFS上創建文件夾，其中f爲文件夾的完整路徑。具體實現如下：

package com.hebut.dir;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
publicclassCreateDir {
publicstaticvoidmain(String[] args) throws Exception{
Configuration conf=newConfiguration();
FileSystem hdfs=FileSystem.get(conf);
Path dfs=newPath("/TestDir");
hdfs.mkdirs(dfs);
}
}

複製代碼

運行結果如圖6-3-1和圖6-3-2所示。
　　1）項目瀏覽器

圖1-3-1 運行結果（1）

　　2）SecureCRT結果

圖1-3-2 運行結果（2）

3 重命名HDFS文件
　　通過"FileSystem.rename（Path src，Path dst）"可爲指定的HDFS文件重命名，其中src和dst均爲文件的完整路徑。具體實現如下：

package com.hebut.file;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
publicclassRename{
publicstaticvoidmain(String[] args) throws Exception {
Configuration conf=newConfiguration();
FileSystem hdfs=FileSystem.get(conf);
Path frpaht=newPath("/test"); //舊的文件名
Path topath=newPath("/test1"); //新的文件名
boolean isRename=hdfs.rename(frpaht, topath);
String result=isRename?"成功":"失敗";
System.out.println("文件重命名結果爲："+result);
}
}

複製代碼

運行結果如圖6-4-1和圖6-4-2所示。
　　1）項目瀏覽器

圖1-4-1 運行結果（1）

2）SecureCRT結果

圖1-4-2 運行結果（2）

4 刪除HDFS上的文件
　　通過"FileSystem.delete（Path f，Boolean recursive）"可刪除指定的HDFS文件，其中f爲需要刪除文件的完整路徑，recuresive用來確定是否進行遞歸刪除。具體實現如下：

package com.hebut.file;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
publicclassDeleteFile {
publicstaticvoidmain(String[] args) throws Exception {
Configuration conf=newConfiguration();
FileSystem hdfs=FileSystem.get(conf);
Path delef=newPath("/test1");

複製代碼

運行結果如圖6-5-1和圖6-5-2所示。

　　1）控制檯結果

圖1-5-1 運行結果（1）
2）項目瀏覽器

圖6-5-2 運行結果（2）
5 刪除HDFS上的目錄
　　同刪除文件代碼一樣，只是換成刪除目錄路徑即可，如果目錄下有文件，要進行遞歸刪除。
6 查看某個HDFS文件是否存在
　　通過"FileSystem.exists（Path f）"可查看指定HDFS文件是否存在，其中f爲文件的完整路徑。具體實現如下：

package com.hebut.file;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
publicclassCheckFile {
publicstaticvoidmain(String[] args) throws Exception {
Configuration conf=newConfiguration();
FileSystem hdfs=FileSystem.get(conf);
Path findf=newPath("/test1");
boolean isExists=hdfs.exists(findf);
System.out.println("Exist?"+isExists);
}
}

複製代碼

運行結果如圖1-7-1和圖1-7-2所示。

圖1-7-1 運行結果（1）

　　2）項目瀏覽器

圖6-7-2 運行結果（2）

7 查看HDFS文件的最後修改時間

　　通過"FileSystem.getModificationTime()"可查看指定HDFS文件的修改時間。具體實現如下：

package com.hebut.file;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
publicclassGetLTime {
publicstaticvoidmain(String[] args) throws Exception {
Configuration conf=newConfiguration();
FileSystem hdfs=FileSystem.get(conf);
Path fpath =newPath("/user/hadoop/test/file1.txt");
FileStatus fileStatus=hdfs.getFileStatus(fpath);
longmodiTime=fileStatus.getModificationTime();
System.out.println("file1.txt的修改時間是"+modiTime);
}
}

複製代碼

運行結果如圖6-8-1所示。

圖1-8-1 控制檯結果

8讀取HDFS某個目錄下的所有文件

通過"FileStatus.getPath（）"可查看指定HDFS中某個目錄下所有文件。具體實現如下：

package com.hebut.file;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

複製代碼

運行結果如圖1-9-1和圖1-9-2所示。

　　1）控制檯結果

圖1-9-1 運行結果（1）

　　2）項目瀏覽器

圖1-9-2 運行結果（2）

9 查找某個文件在HDFS集羣的位置
　　通過"FileSystem.getFileBlockLocation（FileStatus file，long start，long len）"可查找指定文件在HDFS集羣上的位置，其中file爲文件的完整路徑，start和len來標識查找文件的路徑。具體實現如下：

package com.hebut.file;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
publicclassFileLoc {
publicstaticvoidmain(String[] args) throws Exception {
Configuration conf=newConfiguration();
FileSystem hdfs=FileSystem.get(conf);
Path fpath=newPath("/user/hadoop/cygwin");
FileStatus filestatus = hdfs.getFileStatus(fpath);
BlockLocation[] blkLocations = hdfs.getFileBlockLocations(filestatus, 0, filestatus.getLen());
intblockLen = blkLocations.length;
for(inti=0;i<blockLen;i++){
String[] hosts = blkLocations[i].getHosts();
System.out.println("block_"+i+"_location:"+hosts[0]);
}
}
}

複製代碼

運行結果如圖1-10-1和1.10.2所示。

　　1）控制檯結果

圖1-10-1 運行結果（1）
　　2）項目瀏覽器

圖1-10-2 運行結果（2）

10獲取HDFS集羣上所有節點名稱信息

　　通過"DatanodeInfo.getHostName（）"可獲取HDFS集羣上的所有節點名稱。具體實現如下：

package com.hebut.file;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.apache.hadoop.hdfs.protocol.DatanodeInfo;
publicclassGetList {
publicstaticvoidmain(String[] args) throws Exception {
Configuration conf=newConfiguration();
FileSystem fs=FileSystem.get(conf);
DistributedFileSystem hdfs = (DistributedFileSystem)fs;
DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();
for(inti=0;i<dataNodeStats.length;i++){
System.out.println("DataNode_"+i+"_Name:"+dataNodeStats[i].getHostName());
}
}
}

複製代碼

運行結果如圖1-11-1所示。

圖6-11-1 控制檯結果

11HDFS的讀寫數據流11.1 文件的讀取剖析

文件讀取的過程如下：

　　1）解釋一

客戶端(client)用FileSystem的open()函數打開文件。

DistributedFileSystem用RPC調用元數據節點，得到文件的數據塊信息。

對於每一個數據塊，元數據節點返回保存數據塊的數據節點的地址。

DistributedFileSystem返回FSDataInputStream給客戶端，用來讀取數據。

客戶端調用stream的read()函數開始讀取數據。

DFSInputStream連接保存此文件第一個數據塊的最近的數據節點。

Data從數據節點讀到客戶端(client)。

當此數據塊讀取完畢時，DFSInputStream關閉和此數據節點的連接，然後連接此文件下一個數據塊的最近的數據節點。

當客戶端讀取完畢數據的時候，調用FSDataInputStream的close函數。

在讀取數據的過程中，如果客戶端在與數據節點通信出現錯誤，則嘗試連接包含此數據塊的下一個數據節點。

失敗的數據節點將被記錄，以後不再連接。

　　2）解釋二

使用HDFS提供的客戶端開發庫，向遠程的Namenode發起RPC請求；

Namenode會視情況返回文件的部分或者全部block列表，對於每個block，Namenode都會返回有該block拷貝的datanode地址；

客戶端開發庫會選取離客戶端最接近的datanode來讀取block；

讀取完當前block的數據後，關閉與當前的datanode連接，併爲讀取下一個block尋找最佳的datanode；

當讀完列表的block後，且文件讀取還沒有結束，客戶端開發庫會繼續向Namenode獲取下一批的block列表。

讀取完一個block都會進行checksum驗證，如果讀取datanode時出現錯誤，客戶端會通知Namenode，然後再從下一個擁有該block拷貝的datanode繼續讀。

11.2 文件的寫入剖析

　　寫入文件的過程比讀取較爲複雜：

1）解釋一
客戶端調用create()來創建文件
DistributedFileSystem用RPC調用元數據節點，在文件系統的命名空間中創建一個新的文件。
元數據節點首先確定文件原來不存在，並且客戶端有創建文件的權限，然後創建新文件。
DistributedFileSystem返回DFSOutputStream，客戶端用於寫數據。
客戶端開始寫入數據，DFSOutputStream將數據分成塊，寫入data queue。
Data queue由Data Streamer讀取，並通知元數據節點分配數據節點，用來存儲數據塊(每塊默認複製3塊)。分配的數據節點放在一個pipeline裏。
Data Streamer將數據塊寫入pipeline中的第一個數據節點。第一個數據節點將數據塊發送給第二個數據節點。第二個數據節點將數據發送給第三個數據節點。
DFSOutputStream爲發出去的數據塊保存了ack queue，等待pipeline中的數據節點告知數據已經寫入成功。
如果數據節點在寫入的過程中失敗：
關閉pipeline，將ack queue中的數據塊放入data queue的開始。
當前的數據塊在已經寫入的數據節點中被元數據節點賦予新的標示，則錯誤節點重啓後能夠察覺其數據塊是過時的，會被刪除。
失敗的數據節點從pipeline中移除，另外的數據塊則寫入pipeline中的另外兩個數據節點。
元數據節點則被通知此數據塊是複製塊數不足，將來會再創建第三份備份。
當客戶端結束寫入數據，則調用stream的close函數。此操作將所有的數據塊寫入pipeline中的數據節點，並等待ack queue返回成功。最後通知元數據節點寫入完畢。
　　2）解釋二
使用HDFS提供的客戶端開發庫，向遠程的Namenode發起RPC請求；
Namenode會檢查要創建的文件是否已經存在，創建者是否有權限進行操作，成功則會爲文件創建一個記錄，否則會讓客戶端拋出異常；
當客戶端開始寫入文件的時候，開發庫會將文件切分成多個packets，並在內部以"data queue"的形式管理這些packets，並向Namenode申請新的blocks，獲取用來存儲replicas的合適的datanodes列表，列表的大小根據在Namenode中對replication的設置而定。
開始以pipeline（管道）的形式將packet寫入所有的replicas中。開發庫把packet以流的方式寫入第一個datanode，該datanode把該packet存儲之後，再將其傳遞給在此pipeline中的下一個datanode，直到最後一個datanode，這種寫數據的方式呈流水線的形式。
最後一個datanode成功存儲之後會返回一個ack packet，在pipeline裏傳遞至客戶端，在客戶端的開發庫內部維護着"ack queue"，成功收到datanode返回的ack packet後會從"ack queue"移除相應的packet。
如果傳輸過程中，有某個datanode出現了故障，那麼當前的pipeline會被關閉，出現故障的datanode會從當前的pipeline中移除，剩餘的block會繼續剩下的datanode中繼續以pipeline的形式傳輸，同時Namenode會分配一個新的datanode，保持replicas設定的數量。

Java創建hdfs文件實例

.Net 8.0 下的新RPC，IceRPC之試試的新玩法"打洞"

完美替代postman的軟件

Vue mockjs mock.js

關於遊戲付費的一點想法

我通過CKA和CKS啦！

安裝chromadb注意事項

《最新出爐》系列入門篇-Python+Playwright自動化測試-42-強大的可視化追蹤利器Trace Viewer

大數據怎麼學？對大數據開發領域及崗位的詳細解讀，完整理解大數據開發領域技術體系

一張圖精通MapReduce的原理

讓你真正明白什麼是MapReduce組合式，迭代式，鏈式

HDFS支持數據壓縮的幾種方法探討

hive用戶接口、元數據、及數據模型等介紹

新手指導：mapreduce不同類型的數據分到同一個分區是否會影響輸出結果

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結