Hadoop之本地運行模式詳解

Hadoop的運行模式分爲3種：本地運行模式，僞分佈運行模式，集羣運行模式，相應概念如下： 
1、獨立模式即本地運行模式（standalone或local mode） 
無需運行任何守護進程（daemon），所有程序都在單個JVM上執行。由於在本機模式下測試和調試MapReduce程序較爲方便，因此，這種模式適宜用在開發階段。 
2、僞分佈運行模式 

僞分佈:如果Hadoop對應的Java進程都運行在一個物理機器上,稱爲僞分佈運行模式，如下圖所示：

[root@hadoop20 dir2]# jps
8993 Jps
7409 SecondaryNameNode
7142 NameNode
7260 DataNode
8685 NodeManager
8590 ResourceManager

3、集羣模式 

如果Hadoop對應的Java進程運行在多臺物理機器上,稱爲集羣模式.[集羣就是有主有從] ，如下圖所示：

[root@hadoop11 local]# jps
18046 NameNode
30927 Jps
18225 SecondaryNameNode

[root@hadoop22 ~]# jps
9741 ResourceManager
16569 Jps

[root@hadoop33 ~]# jps
12775 DataNode
20189 Jps
12653 NodeManager

[root@hadoop44 ~]# jps
10111 DataNode
17519 Jps
9988 NodeManager

[root@hadoop55 ~]# jps
11563 NodeManager
11686 DataNode
19078 Jps

[root@hadoop66 ~]# jps
10682 DataNode
10560 NodeManager
18085 Jps

• 
  

注意：僞分佈模式就是在一臺服務器上面模擬集羣環境,但僅僅是機器數量少,其通信機制與運行過程與真正的集羣模式是一樣的，hadoop的僞分佈運行模式可以看做是集羣運行模式的特殊情況。 

爲了方便文章的後續說明，先介紹一下hadoop的體系結構： 

從Hadoop的體系結構可以看出，HDFS與MapReduce分別是Hadoop的標配文件系統與標配計算框架，但是呢？–我們完全可以選擇別的文件系統(如Windows的NTFS，Linux的ext4)與別的計算框架(如spark、storm等)爲Hadoop所服務，這恰恰說明了hadoop的松耦合性。在hadoop的配置文件中，我們是通過core-site.xml這個配置文件指定所用的文件系統的。

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop11:9000</value>