Hadoop 編譯64 位

準備

jdk8

apache-ant-1.9.14-bin.tar.gz

apache-maven-3.6.3-bin.tar.gz

protobuf-2.5.0.tar.gz

hadoop-2.9.2-src.tar.gz

安裝環境

1. 配置 jdk

   tar -zxvf jdk -C /opt/modules/
   配置環境變量 省略...
   

2. 配置 配置 maven

   tar -zxvf apache-maven-3.6.3-bin.tar.gz -C /opt/modules/
   配置環境變量 省略...
   vim conf/setting.xml
   <mirror>
      <id>nexus-aliyun</id>
      <mirrorOf>central</mirrorOf>
      <name>Nexus aliyun</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public</url>
   </mirror>
   

3. 配置 ant

   tar -zxvf apache-ant-1.9.14-bin.tar.gz -C /opt/modules/
   配置環境變量 省略...
   

4. 編譯安裝 protobuf

   tar -zxvf protobuf-2.5.0.tar.gz -C /opt/modules/
   yum install -y yum install glibc-headers gcc-c++ make cmake openssl-devel ncurses-devel
   cd protobuf-2.5.0/
   ./configure
   make
   make check 
   make install
   ldconfig
   
   配置環境變量
   export LD_LIBRARY_PATH=/opt/module/protobuf-2.5.0
   export PATH=$PATH:$LD_LIBRARY_PATH
   

5. 解壓 hadoop-2.9.2-src

   tar -zxvf hadoop-2.9.2-src
   

6. 編譯

   mvn package -Pdist,native -DskipTests -Dtar
   

7. 編譯位置, 最後 hadoop 包編譯到的位置

   /opt/source/hadoop-2.9.2-src/hadoop-dist/target