Hadoop源碼編譯

一、前期準備工作 

1)CentOS聯網  
配置CentOS能連接外網。Linux虛擬機ping www.baidu.com 是暢通的 
注意:採用root角色編譯,減少文件夾權限出現問題 
2)jar包準備(hadoop源碼、JDK7 、 maven、 ant 、protobuf) 
(1)hadoop-2.7.2-src.tar.gz 
(2)jdk-7u79-linux-x64.gz 
(3)apache-ant-1.9.9-bin.tar.gz 
(4)apache-maven-3.0.5-bin.tar.gz 

(5)protobuf-2.5.0.tar.gz 

二、jar包安裝 

0)注意:所有操作必須在root用戶下完成 
1)JDK解壓、配置環境變量 JAVA_HOME和PATH,驗證java-version(如下都需要驗證
是否配置成功) 
[root@hadoop software] # tar -zxf jdk-7u79-linux-x64.gz -C /opt/module/ 
[root@hadoop software]# vi /etc/profile 
#JAVA_HOME 
export JAVA_HOME=/opt/module/jdk1.8.0_144 
export PATH=$PATH:$JAVA_HOME/bin 
[root@hadoop software]#source /etc/profile 
驗證命令:java -version 

2)Maven解壓、配置  MAVEN_HOME和PATH
[root@hadoop software]# tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/ 
[root@hadoop apache-maven-3.0.5]#  vi /etc/profile 
#MAVEN_HOME 
export MAVEN_HOME=/opt/module/apache-maven-3.0.5 
export PATH=$PATH:$MAVEN_HOME/bin 
[root@hadoop software]#source /etc/profile 
驗證命令:mvn -version 
3)ant解壓、配置  ANT _HOME和PATH
[root@hadoop software]# tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/module/ 
[root@hadoop apache-ant-1.9.9]# vi /etc/profile 
#ANT_HOME 
export ANT_HOME=/opt/module/apache-ant-1.9.9 
export PATH=$PATH:$ANT_HOME/bin 
[root@hadoop software]#source /etc/profile 
驗證命令:ant -version 
4)安裝  glibc-headers 和  g++  命令如下:  
[root@hadoop apache-ant-1.9.9]# yum install glibc-headers 
[root@hadoop apache-ant-1.9.9]# yum install gcc-c++ 
5)安裝make和cmake 
[root@hadoop apache-ant-1.9.9]# yum install make 
[root@hadoop apache-ant-1.9.9]# yum install cmake 
6)解壓protobuf ,進入到解壓後protobuf主目錄,/opt/module/protobuf-2.5.0 
然後相繼執行命令: 
[root@hadoop software]# tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/ 
[root@hadoop opt]# cd /opt/module/protobuf-2.5.0/ 
 
[root@hadoop protobuf-2.5.0]#./configure 
[root@hadoop protobuf-2.5.0]# make  
[root@hadoop protobuf-2.5.0]# make check  
[root@hadoop protobuf-2.5.0]# make install  
[root@hadoop protobuf-2.5.0]# ldconfig  
 
[root@hadoop hadoop-dist]# vi /etc/profile 
#LD_LIBRARY_PATH 
export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0 
export PATH=$PATH:$LD_LIBRARY_PATH 
[root@hadoop software]#source /etc/profile 
驗證命令:protoc --version 
7)安裝openssl庫 
[root@hadoop software]#yum install openssl-devel 
8)安裝 ncurses-devel庫: 
[root@hadoop software]#yum install ncurses-devel 

到此,編譯工具安裝基本完成。

三、 編譯源碼 

1)解壓源碼到/opt/tools目錄 
[root@hadoop software]# tar -zxvf hadoop-2.7.2-src.tar.gz -C /opt/ 
2)進入到hadoop源碼主目錄 
[root@hadoop hadoop-2.7.2-src]# pwd 
/opt/hadoop-2.7.2-src 
3)通過maven執行編譯命令 
[root@hadoop hadoop-2.7.2-src]#mvn package -Pdist,native -DskipTests -Dtar 

等待時間30分鐘左右,最終成功是全部SUCCESS。


4)成功的64位hadoop包在/opt/hadoop-2.7.2-src/hadoop-dist/target下
[root@hadoop target]# pwd 

/opt/hadoop-2.7.2-src/hadoop-dist/target 、

四、常見的問題及解決方案 

1)MAVEN install時候JVM內存溢出 
處理方式:在環境配置文件和maven的執行文件均可調整MAVEN_OPT的heap大小。
(詳情查閱MAVEN 編譯 JVM調優問題,如:
http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method) 
2)編譯期間maven報錯。可能網絡阻塞問題導致依賴庫下載不完整導致,多次執行命令
(一次通過比較難): 
[root@hadoop hadoop-2.7.2-src]#mvn package -Pdist,native -DskipTests -Dtar 
3)報ant、protobuf等錯誤,插件下載未完整或者插件版本問題,最開始鏈接有較多特殊
情況
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章