1.背景
最近環境切換到CDH6.3，用到Spark2.4，Hive2.1，Hadoop3.0，Beam等組件，Beam中嵌套了很多組件的原生API。
2.安裝
2.1 Spark
具體步驟略，照着網上文檔按步驟就可以安裝好，下面步驟，展示如何啓動Master,Worker進程。
安裝目錄：/opt/cloudera/parcels/CDH/lib/spark，操作主目錄。
spark-env.sh
在此配置文件末尾添加JAVA_HOME環境變量
export JAVA_HOME=/usr/local/jdk
slaves
這個文件如果沒有，自己創建一個，文件內容配置Worker節點的主機名，每個節點都配置下文件。
示例：
m4.server
nlp.server
/opt/cloudera/parcels/CDH/lib/spark/work
work->/var/run/spark/work
目錄軟鏈接不存在，把目錄刪除，啓動集羣時會自動創建一個。
作用：用以存放從HttpFileServer下載下來的第三方庫依賴及Executor運行時生成