HDFS的java接口實現上傳下載

簡單的hdfs上傳，下載實現

1.使用idea導入hdfs的基本包

方法一：複製粘貼法導jar包 項目工程下新建lib文件夾------>複製hadoop的jar包到文件夾下：

hadoop-2.7.3/share/hadoop/common下的包（包含lib下的包）

hadoop-2.7.3/share/hadoop/hdfs（包含lib下的包）

------>選中lib目錄下所有jar包，右鍵------>Add as library

方法二：**maven**搭建hadoop環境新建maven項目------>直接在pom.xml文件裏添加hadoop的依賴包hadoop-common, hadoop-client, hadoop-hdfs即可

例如：

<project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>my.hadoopstudy</groupId>
    <artifactId>hadoopstudy</artifactId>
    <packaging>jar</packaging>
    <version>1.0-SNAPSHOT</version>
    <name>hadoopstudy</name>
    <url>http://maven.apache.org</url>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.3</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
    </dependencies>
</project>

2.hdfs與本地文件傳輸

上傳、下載與刪除

public class hadoop1 {
    public static FileSystem fs;

    public  void init() throws Exception{
        //        創建FileSystem類
        fs = FileSystem.get(new URI("hdfs://192.168.19.128:9000"),new Configuration());
    }

    @Test
    public  void downLoad() throws Exception {
        init();
//        從hdfs下載文件到本地目錄
        fs.copyToLocalFile(new Path("/wordcount"),new Path("D:/hadoop_test/1"));
    }
    @Test
    public  void upLoad() throws Exception {
        init();
        //上傳本地文件到hdfs上
        fs.copyFromLocalFile(new Path("D:/hadoop_test/1"),new Path("/2"));
    }
    @Test
    public  void deletedfs() throws Exception {
        init();
        //刪除hdfs文件
        fs.delete(new Path("/2"),false);
    }
}

注意：可以通過50070端口查看hdfs界面

例如： http://192.168.19.128:50070/