本人是 Hadoop 學習的新手，本篇是我自己在摸索學習的記錄。
本篇參考了作者 http://blog.csdn.net/lizhe_dashuju 的博文《從零開始學習 Hadoop》
- 安裝 Java SE
-
- Mac 下面安裝 Java 的環境是很方便的，直接在官網上下載對應的 dmg 文件雙擊就可以安裝。
- 版本選擇不宜過高，會遇到不兼容的問題，選擇了 jdk1.7
- 安裝完成之後需要添加 java 環境變量配置。”sudo vim /etc/profile”
在最後面加上以下：
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_71.jdk/Contents/Home
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
修改 proflie之後需要執行 ”source /etc/profile” 命令進行生效
需要注意的是，通過 dmg 文件安裝的 jdk 地址是固定的，在/Library/Java/JavaVirtualMachines/裏面可以找到對應版本的 JDK
- 安裝 Hadoop121
-
- 在 mac 下面有個很好用的源管理叫 Homebrew，相信用 mac 的人都不會覺得陌生，它和 Linux 下的 apt-get 類似。
- 安裝 Hadoop 的方式有兩種，一種是從官網直接下載源碼進行編譯，詳情參照《從零開始學習 Hadoop》，另一種就是很方便的使用 Homebrew 進行安裝（附上havee寫的homebrew常用的方法）。
-
- 在 Terminal 中輸入 “brew install hadoop121”，它就會自動下載安裝好 Hadoop 所需的依賴和環境
-
- 這裏的 Hadoop 會按照 homebrew 的管理，安裝在/usr/local/Cellar/中，同時 Hadoop 的配置文件是在/usr/local/Cellar/hadoop121/1.2.1/libexec/conf/hadoop-env.sh中。
- 配置 Hadoop，配置文件在/usr/local/Cellar/hadoop121/1.2.1/libexec/conf/目錄下
-
- 按照僞分佈式進行配置,也就是用一個機器同時運行 NameNode,SecondaryNameNode，DataNode，JobTracker, TaskTracker 5 個任務。
-
- hadoop-env.sh 需要修改一下 JAVA_HOME 的路徑爲上面 java 的路徑
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_71.jdk/Contents/Home
-
- 將 core-site.xml 文件內容修改成如下 :
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
-
- 將 mapred-site.xml 文件內容修改如下：
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
-
- 將 hdfs-site.xml 文件內容修改如下
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
- 配置 rsync 和 ssh
-
- Linux 系統需要 "sudo apt-get install ssh rsync" 這條命令安裝 ssh 和 rsync。ssh 是一個很著名的安全外殼協議 Secure Shell Protocol。rsync 是文件同步命令行工具
- Mac 本生就已經安裝好了 ssh 和 rsync 的，需要在系統設置中打開“設置—共享”中打開 “遠程登錄”和“遠程管理”兩個選項。
-
- 配置 ssh 免登錄 "ssh-keygen -t dsa -f ~/.ssh/id_dsa"
執行這條命令生成 ssh 的公鑰/私鑰,執行過程中,會一些提示讓輸入字符,直接一路回車就可以。
-
- 設置公鑰/私鑰登錄 "cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys"
ssh 進行遠程登錄的時候需要輸入密碼,如果用公鑰/私鑰方式,就不需要輸入密碼了。
-
- “ssh localhost” 第一次執行本命令,會出現一個提示,輸入”yes”然後回車即可 。
- 啓動 Hadoop
-
- "cd /usr/local/Cellar/hadoop121/1.2.1/ "
- 爲了以後方便，也可以在 profile 文件中多加入一個 LOCAL_HADOOP_HOME 來表示 Hadoop 的根目錄：
export LOCAL_HADOOP_HOME=/usr/local/Cellar/hadoop121/1.2.1
-
- "./bin/hadoop namenode -format"
格式化 NameNode。
-
- "./bin/start-all.sh"
啓動所有節點,包括 NameNode, SecondaryNameNode, JobTracker, TaskTracker, DataNode。
-
- "jps"
檢查各進程是否運行,這時,應該看到有 6 個 java 虛擬機的進程,分別是 Jps, NameNode, SecondaryNameNode, DataNode, JobTracker, TaskTracker,看到 6 個是對的,表明啓動成功。如果提示”jps”沒安裝或者找不到,執行一 次”source /etc/profile”即可。