Hadoop 2.4 libhadoop.so的disabled stack guard問題

 由於2.4.0默認配置的libhadoop是32位的,在64位的操作系統環境運行過程中,會提示以下錯誤:


  1. Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /opt/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.  

  2. It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.  

  3. 13/11/01 10:58:59 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  

需要重新編譯Hadoop的代碼,得到適合的庫文件。按以下步驟執行。


下載Hadoop 2.4.0 源代碼

可以從Apache官方下載Hadoop 2.2.0的源代碼,或者在以下網址下載Hadoop 2.2.0的源代碼:
http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz

配置編譯環境

本文采用的Ubuntu 12.04.3 LTS環境,先安裝編譯環境:

[plain] view plain copy print?

  1. $ yum install   

  2. yum install gcc gcc-c++ kernel-devel
  3. $ yum install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev  

  安裝 build-essential 

yum groupinstall "Development Tools"

這時候需要用wget命令去網絡上下載資源包

wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

然後重新安裝maven


  1. 安裝maven

  2. yum -y install apache-maven

配置protobuf

編譯過程需要使用protobuf,建議先行安裝。Ubuntu倉庫默認的protobuf是2.4.1版,需要最新的2.5版:

https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

下載解壓後,執行:

[plain] view plain copy print?

  1. $ tar xzvf protobuf-2.5.0.tar.gz  

  2. $ cd protobuf-2.5.0  

  3. $ ./configure --prefix=/usr  

  4. $ make  

  5. $ sudo make install  

編譯hadoop

解壓進入hadoop源碼目錄,執行編譯:

[plain] view plain copy print?

  1. $ tar xzvf hadoop-2.2.0-src.tar.gz  

  2. $ cd hadoop-2.2.0-src  

  3. $ mvn package -Pdist,native -DskipTests -Dtar  

編譯過程中maven會自動下載依賴。編譯完成後,系統會提示以下信息:

[plain] view plain copy print?

  1. [INFO] BUILD SUCCESS  

  2. [INFO] ------------------------------------------------  

  3. [INFO] Total time: 15:39.705s  

  4. [INFO] Finished at: Fri Nov 01 14:36:17 CST 2013  

  5. [INFO] Final Memory: 135M/422M  

然後在以下目錄可以獲取編譯完成的libhadoop:

[plain] view plain copy print?

  1. hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib  

注:默認源地址下,maven下載依賴時間極長,建議使用國內源,參考《maven國內鏡像配置》文檔。

然後將編譯的lib/native文件夾替換原本的即可。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章