一、安裝介質與版本
OS安裝介質：[紅帽企業Linux.6.4.服務器版].rhel-server-6.4-x86_64-dvd[ED2000.COM].iso
版本：Linux version 2.6.32-358.el6.x86_64([email protected]) (gcc version 4.4.7 20120313 (RedHat 4.4.7-3) (GCC) ) #1 SMP Tue Jan 29 11:47:41 EST 2013
JDK安裝包：jdk-7u79-linux-x64.rpm
Hadoop安裝包：hadoop-2.6.0.tar.gz
Hadoop版本：
[spark@localhost ~]$ hadoop version
Hadoop 2.6.0
Subversionhttps://git-wip-us.apache.org/repos/asf/hadoop.git -re3496499ecb8d220fba99dc5ed4c99c8f9e33bb1
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum18e43357c8f927c0695f1e9522859d6a
This command was run using/home/spark/opt/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar
元數據庫mysql安裝包：mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz
Hive安裝包：apache-hive-1.2.1-bin.tar.gz
Hive版本：1.2.1
Scala安裝包：scala-2.11.4.tgz
Spark安裝包：spark-1.2.0-bin-hadoop2.4.tgz
二、Spark安裝推薦硬件配置
Spark對磁盤的要求：Spark是in memory的迭代式運算平臺，因此它對磁盤的要求不高。Spark官方推薦爲每個節點配置4-8塊磁盤，且並不需要配置爲RAID（即將磁盤作爲單獨的mount point）。然後，通過配置spark.local.dir來指定磁盤列表。
Spark對內存的要求：官方網站只是要求內存在8GB之上即可（Impala要求機器配置在128GB）。當然，真正要高效處理，仍然是內存越大越好。若內存超過200GB，則需要當心，因爲JVM對超過200GB的內存管理存在問題，需要特別的配置。
Spark對網絡的要求：Spark屬於網絡綁定型系統，因而建議使用10G及以上的網絡帶寬。
Spark對CPU的要求：Spark每個集羣要啓動成千上萬的線程，每個集羣的核數至少是8-16核。Spark可以支持一臺機器擴展至數十個CPU core，它實現的是線程之間最小共享。若內存足夠大，則制約運算性能的就是網絡帶寬與CPU數。
三、本次大數據安裝部署的網絡環境
Master: 172.16.107.9
Slave1: 172.16.107.8
Slave2: 172.16.107.7
三臺機器的防火牆關閉，相互之間可以Ping通。