如何在Spark集羣的work節點上啓動多個Executor?
默認情況下，Spark集羣下的worker，只會啓動一個Executor，只運行了一個 CoarseGrainedExecutorBackend 進程。Worker 通過持有 ExecutorRunner 對象來控制 CoarseGrainedExecutorBackend 的啓停。
那麼如何啓動多個executor呢？通過設置參數來解決：
1、設置每個executor使用的cpu數爲4
spark.executor.cores 4
2、限制cpu使用數量，這裏會啓動3個executor(12/4)
spark.cores.max 12
3、設置每個executor的內存大小爲8g
spark.executor.memory 12g
以上設置將會啓動3個executor,每個executor使用4cpu,12gRAM。
總共佔用worker資源12cpu,36gRAM。
Spark1.6的源碼部分爲：
protected final String EXECUTOR_MEMORY = "--executor-memory";
protected final String TOTAL_EXECUTOR_CORES = "--total-executor-cores";
protected final String EXECUTOR_CORES = "--executor-cores";
也可以在提交任務的時候添加：
SparkSubmit --class com.dyq.spark.MyClass --master:spark://master:7077 --total-executor-cores 12 --executor-cores 24 --executor-memory 12g
tip
在使用過程中發現如果使用spark1.5以下版本有時候會出現即使有資源也申請不到的情況。