[Nutch]Hadoop多機完全分佈式模式hadoop配置

1. 下載hadoop

使用如下命令：

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

使用如下命令解壓：

tar -zxvf hadoop-1.2.1.tar.gz

2. 配置hadoop

將hadoop的bin目錄加入到配置文件中，使用如下命令：

vim .bashrc

添加如下行：

export PATH=/home/hadoop/workspace/hadoop-1.2.1/bin:$PATH

如下：

使用如下命令使其生效：

source  .bashrc

驗證hadoop路徑，使用如下命令：

which hadoop

如下：

3. 配置hadoop的運行參數

3.1 修改masters配置文件

將localhost修改爲host1：

vim conf/masters

3.2 修改slaves配置文件

刪除localhost，添加host1,，host2，host3：

vim conf/slaves

3.3 修改core-site.xml

使用如下命令：

vim conf/core-site.xml

添加如下內容：

<property>
<name>fs.default.name</name>
<value>hdfs://host1:9000</value>
</property>

如下：

3.4 修改hdfs-site.xml

使用如下命令：

vim conf/hdfs-site.xml

添加如下內容：

<property>
  <name>dfs.name.dir</name>
  <value>/home/hadoop/dfs/filesystem/name</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/home/hadoop/dfs/filesystem/data</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

如下：

3.5 修改mapred-site.xml文件

使用如下命令：

vim conf/mapred-site.xml

添加如下內容：

<property>
  <name>mapred.job.tracker</name>
  <value>host1:9001</value>
</property>
<property> 
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>4</value>
</property> 
<property> 
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>4</value>
</property>
<property>
  <name>mapred.system.dir</name>
  <value>/home/hadoop/mapreduce/system</value>
</property>
<property>
  <name>mapred.local.dir</name>
  <value>/home/hadoop/mapreduce/local</value>
</property>

如下：

3.6 修改hadoop-env.sh文件

使用vim打開conf目錄下面的hadoop-env.sh文件：

vim conf/hadoop-env.sh

在裏面配置JAVA_HOME，加入如下內容:

export JAVA_HOME=/usr/lib/jvm/java-8-oracle

如圖：

4. 複製hadoop文件到其他主機結點

使用如下命令複製到主機host2：

scp -r /home/hadoop/workspace/hadoop-1.2.1  hadoop@host2:/home/hadoop/workspace/hadoop-1.2.1

如下：

使用如下命名複製到主機host3：

scp -r /home/hadoop/workspace/hadoop-1.2.1  hadoop@host3:/home/hadoop/workspace/hadoop-1.2.1

如下：

5. 格式化名稱節點並啓動集羣

使用如下命令：

hadoop namenode -format

如下：

6. 啓動集羣

使用如下命令：

start-all.sh

如下：

7.查看各個主機結點啓動的進程

在host1上使用jps可以看到如下進程：

在host2上使用jps可以看到如下進程：

在host3上使用jps可以看到如下進程：

8. 查看web管理頁面