| 導讀 | 本文是在Kubernets上搭建Spark集羣的操作指南，同時提供了Spark測試任務及相關的測試數據，通過閱讀本文，你可以實踐從製作Spark鏡像、搭建Spark容器集羣，到在集羣上運行測試任務的完整流程。 |
Yarn曾經是Hadoop默認的資源編排管理平臺。但最近情況有所變化，特別是對於Hadoop中的Spark，由於其與S3等其他存儲平臺集成得很好，而與Hadoop生態中其他組件反而沒有太緊密的關聯，因此Kubernetes正迅速替代Yarn，成爲基於對象存儲的Spark系統的默認編排管理平臺。在這篇文章中，我們將深入研究如何在Kubernetes集羣上構建和部署Spark容器。由於Spark的運行依賴於數據，我們將配置Spark集羣通過S3 API進行存儲操作。
構建Spark容器
在Kubernetes上部署應用的第一步，是創建容器。雖然有些項目會提供官方的容器鏡像，但截止到寫此文時，Apache Spark並沒有提供官方鏡像。因此我們將自己創建Spark容器，讓我們從Dockerfile開始。
FROM java:openjdk-8-jdk
ENV hadoop_ver 2.8.2
ENV spark_ver 2.4.4
RUN mkdir -p /opt && \
cd /opt && \
curl http://archive.apache.org/dist/hadoop/common/hadoop-${hadoop_ver}/hadoop-${hadoop_ver}.tar.gz | \
tar -zx && \
ln -s hadoop-${hadoop_ver} hadoop && \
echo Hadoop ${hadoop_ver} installed in /opt
RUN mkdir -p /opt && \
cd /opt && \
curl http://archive.apache.org/dist/spark/spark-${spark_ver}/spark-${spark_ver}-bin-without-hadoop.tgz | \
tar -zx && \
ln -s spark-${spark_ver}-bin-without-hadoop spark && \
echo Spark ${spark_ver} installed in /opt
ENV SPARK_HOME=/opt/spark
ENV PATH=$PATH:$SPARK_HOME/bin
ENV HADOOP_HOME=/opt/hadoop
ENV PATH=$PATH:$HADOOP_HOME/bin
ENV LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
RUN curl http://central.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.8.2/hadoop-aws-2.8.2.jar -o /opt/spark/jars/hadoop-aws-2.8.2.jar
RUN curl http://central.maven.org/maven2/org/apache/httpcomponents/httpclient/4.5.3/httpclient-4.5.3.jar -o /opt/spark/jars/httpclient-4.5.3.jar
RUN curl http://central.maven.org/maven2/joda-time/joda-time/2.9.9/joda-time-2.9.9.jar -o /opt/spark/jars/joda-time-2.9.9.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-core/1.11.712/aws-java-sdk-core-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-core-1.11.712.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk/1.11.712/aws-java-sdk-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-1.11.712.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-kms/1.11.712/aws-java-sdk-kms-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-kms-1.11.712.jar
RUN curl http://central.maven.org/maven2/com/amazonaws/aws-java-sdk-s3/1.11.712/aws-java-sdk-s3-1.11.712.jar -o /opt/spark/jars/aws-java-sdk-s3-1.11.712.jar
ADD start-common.sh start-worker start-master /
ADD core-site.xml /opt/spark/conf/core-site.xml
ADD spark-defaults.conf /opt/spark/conf/spark-defaults.conf
ENV PATH $PATH:/opt/spark/bin
在這個Dockerfile中，我們首先從官方地址下載Apache Spark和Hadoop，然後從Maven獲取關聯的jar包。當所有關聯的文件都已經下載並解壓到一個特定的目錄後，我們將這些重要的配置文件添加到鏡像中。
在這個過程中，你可以很方便的添加自己環境特有的配置。
原本我們可以跳過以上步驟，直接使用一個預先構建好的鏡像，但是通過解讀這些步驟可以讓我們的讀者看到Spark容器內部的內容，高級用戶可以據此修改來滿足他們特殊的需求。
以上示例中使用到的Dockerfile和其他關聯的配置文件，可以從這個GitHub倉庫中獲取。如果要使用這個倉庫中的內容，請先使用以下命令將其克隆到本地：
git clone [email protected]:devshlabs/spark-kubernetes.git
現在，你可以根據需要在你的環境中進行任何更改，然後構建鏡像，並上傳到你使用的容器註冊表中。在本文的示例中，我使用Dockerhub作爲容器註冊表，命令如下：
cd spark-kubernetes/spark-container
docker build . -t mydockerrepo/spark:2.4.4
docker push mydockerrepo/spark:2.4.4
記得將其中的mydockerrepo替換爲你實際的註冊表名字。
在Kubernetes上部署Spark
至此，Spark容器鏡像已經構建好，並可以拉取使用了。讓我們使用此鏡像來部署Spark Master和Worker。第一步是創建Spark Master。我們將使用Kubernetes ReplicationController創建Spark Master。在本文的示例中，我僅用單實例創建Spark Master。而在有HA需求的生產環境中，你可能需要將副本數設置爲3或者以上。
kind: ReplicationController
apiVersion: v1
metadata:
name: spark-master-controller
spec:
replicas: 1
selector:
component: spark-master
template:
metadata:
labels:
component: spark-master
spec:
hostname: spark-master-hostname
subdomain: spark-master-headless
containers:
- name: spark-master
image: mydockerrepo/spark:2.4.4
imagePullPolicy: Always
command: ["/start-master"]
ports:
- containerPort: 7077
- containerPort: 8080
resources:
requests:
cpu: 100m
爲了使Spark Worker節點可以發現Spark Master節點，我們還需要創建headless服務。
當你從GitHub倉庫完成克隆，並進入spark-kubernetes目錄後，就可以啓動Spark Master服務了，命令如下：
kubectl create -f spark-master-controller.yaml
kubectl create -f spark-master-service.yaml
現在，確保Master節點和所有的服務都正常運行，然後就可以開始部署Worker節點了。Spark Worker的副本數設置爲2，你可以根據需要修改。Worker啓動命令如下：
kubectl create -f spark-worker-controller.yaml
最後，通過以下命令確認是否所有服務都正常運行：
kubectl get all
執行以上命令，你應該可以看到類似下面的內容：
NAME READY STATUS RESTARTS AGE
po/spark-master-controller-5rgz2 1/1 Running 0 9m
po/spark-worker-controller-0pts6 1/1 Running 0 9m
po/spark-worker-controller-cq6ng 1/1 Running 0 9m
NAME DESIRED CURRENT READY AGE
rc/spark-master-controller 1 1 1 9m
rc/spark-worker-controller 2 2 2 9m
NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE
svc/spark-master 10.108.94.160 7077/TCP,8080/TCP 9m
向Spark集羣提交Job
現在讓我們提交一個Job，看看是否執行正常。不過在此之前，你需要一個有效的AWS S3賬戶，以及存有樣本數據的桶存在。我使用了Kaggle下載樣本數據，樣本數據可以從https://www.kaggle.com/datasna ... s.csv獲取，獲取以後需要上傳到S3的桶裏。假定桶名是s3-data-bucket，那麼樣本數據文件則位於s3-data-bucket/data.csv。
數據準備好以後，將其加載到一個Spark master pod中執行。以Pod名爲spark-master-controller-5rgz2爲例，命令如下：
kubectl exec -it spark-master-controller-v2hjb /bin/bash
如果你登錄進入了Spark系統，可以運行Spark Shell：
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://192.168.132.147:4040
Spark context available as 'sc' (master = spark://spark-master:7077, app id = app-20170405152342-0000).
Spark session available as 'spark'.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.4.4
/_/
Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_221)
Type in expressions to have them evaluated.
Type :help for more information.
scala>
現在讓我們告訴Spark Master，S3存儲的詳細信息，在上文所示的Scale提示符中輸入以下配置：
sc.hadoopConfiguration.set("fs.s3a.endpoint", "https://s3.amazonaws.com")
sc.hadoopConfiguration.set("fs.s3a.access.key", "s3-access-key")
sc.hadoopConfiguration.set("fs.s3a.secret.key", "s3-secret-key")
現在，只需將以下內容粘貼到Scala提示符中，以提交Spark Job(請記得修改S3相關字段)：
import org.apache.spark._
import org.apache.spark.rdd.RDD
import org.apache.spark.util.IntParam
import org.apache.spark.sql.SQLContext
import org.apache.spark.graphx._
import org.apache.spark.graphx.util.GraphGenerators
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.tree.DecisionTree
import org.apache.spark.mllib.tree.model.DecisionTreeModel
import org.apache.spark.mllib.util.MLUtils
val conf = new SparkConf().setAppName("YouTube")
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._
import sqlContext._
val youtubeDF = spark.read.format("csv").option("sep", ",").option("inferSchema", "true").option("header", "true").load("s3a://s3-data-bucket/data.csv")
youtubeDF.registerTempTable("popular")
val fltCountsql = sqlContext.sql("select s.title,s.views from popular s")
fltCountsql.show()
最後，你可以使用kubectl patch command命令更新Spark部署。比如，你可以在負載較高時添加更多工作節點，然後在負載下降後刪除這些工作節點。Linux就該這麼學