本地搭建hadoop集羣--hadoop2.7.6-src在linux上編譯解決downloading過慢教程

第一步:工具的準備


apache-ant-1.9.9-bin.tar.gz

apache-maven-3.0.5-bin.tar.gz

hadoop-2.7.6-src.tar.gz

jdk1.7 就好別用1.8 據說 用1.8 maven 編譯 會報各種錯。

protobuf-2.5.0.tar.gz

以上就是需要的所有 工具

第二部:linux 可以連接外網。

第三部:給 linux 虛擬機 至少分配 4g 以上內存。內存的過低編譯會報錯。建議分配多一些。


我的個人總結:

1、不要指望一次就能編譯成功。概率很小,因爲會各種假死

2、如果卡在downloading 時間過長請 ctrl+c 結束 。重新編譯

3、我一開始使用repo.apache 砸七砸八速度賊慢。等的人心累。以下內容我從網上找了很多解決方案才得以編譯完成。並提速

4、如果沒有耐心還是忽略此文章

5、網上提供的二進制tar包2.X版本據說是32位。據說。據說。據說。網上說法不一致,也有的人認爲,每臺機器硬件配置不一樣對應的依賴以及lib不一樣。造成編譯後包不一定適用於所有機器,才需要編譯。編譯不是什麼高級的東西。

獻上我編譯成功的截圖


首先將以上的包導入到linux 服務器

網上有很多教程。我這裏不細說

必須進入root賬戶。以免在編譯過程中遇到一系列奇葩錯誤


mkdir /opt/softWareFile

mkdir /opt/module

將以上幾個包導入

1) 解壓文件

tar -zxvf jdk-7u80-linux-x64.tar.gz -C /opt/module

tar -zxvf apache-ant-1.9.9-bin.tar.gz -C /opt/module

tar -zxvf  apache-maven-3.0.5-bin.tar.gz -C /opt/module

tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module

tar -zxvf  hadoop-2.7.6-src.tar.gz -C /opt

2)配置環境變量

vi /etc/profile

shift+G 移動到末尾 

o 換行編輯

將以下內容粘貼進去

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin


#MAVEN_HOME
export MAVEN_HOME=/opt/module/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin


#ANT_HOME
export ANT_HOME=/opt/module/apache-ant-1.9.9
export PATH=$PATH:$ANT_HOME/bin
#LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
export PATH=$PATH:$LD_LIBRARY_PATH

按esc  :wq保存退出

3)source /etc/profile

使配置文件生效


4)安裝 glibc-headers 和 g++ 命令如下:

yum install glibc-headers

yum install gcc-c++

5)安裝 make 和 cmake
yum install make

yum install cmake


cd /opt/protobuf-2.5.0

./configure  

make

make check

make install

ldconfig


6)然後驗證配置文件是否生效

java -version

ant -version

mvn -version

protoc --version 

7)安裝 openssl 庫

yum install openssl-devel

8)安裝 ncurses-devel 庫:

yum install ncurses-devel

9)修改mvn 使用 阿里源。否則太慢了

cd /opt/module/apache-maven-3.0.5/conf

vim settings.xml


 <mirror>
            <id>alimaven</id>
            <mirrorOf>central</mirrorOf>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
        </mirror>


        <!-- 涓ぎ浠搴1 -->
        <mirror>
            <id>repo1</id>
            <mirrorOf>central</mirrorOf>
            <name>Human Readable Name for this Mirror.</name>
            <url>http://repo1.maven.org/maven2/</url>
        </mirror>
   
        <!-- 涓ぎ浠搴2 -->
        <mirror>
            <id>repo2</id>
            <mirrorOf>central</mirrorOf>
            <name>Human Readable Name for this Mirror.</name>
            <url>http://repo2.maven.org/maven2/</url>

        </mirror>


保存退出

 10)進入目錄


[root@yzx001 opt]# cd hadoop-2.7.6-src/

[root@yzx001 hadoop-2.7.6-src]# mvn package -Pdist,native -DskipTests -Dtar

慢慢等吧 卡死就ctrl+c 然後繼續運行上面的編譯命令

只要不是卡在downloading 就有戲。

以下目錄就是 最終64位 hadoop 目錄


工具見下載連接:

https://download.csdn.net/download/qq_18730505/10543536

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章