具體步驟如下:
- 配置遠程的Deployment
- 配置本地上傳目錄以及遠程目標目錄
- 配置排除上傳哪些文件
配置遠程Deployment
打開IntelliJ Idea的該項目的“Preferences”,選擇添加SFTP遠程方式,然後配置遠程主機、用戶名以及密碼,如下圖所示:
配置本地上傳目錄以及遠程目標目錄
配置本地上傳目錄以及遠程目標上傳目錄,如下圖所示:
配置忽略上傳目錄
並不是所有文件都需要上傳到遠程服務器,因此還需要排除掉一些不需要上傳的文件或者目錄,例如我這裏的設置如下:
打包之後可以手動上傳到遠程集羣,如下圖所示:
可以在IntelliJ Idea中查看傳輸是否成功,如下圖所示:
上傳jar到集羣之後,可以在集羣上面運行或者調試Scala代碼,例如我這邊的jar包,可以通過如下命令運行:
spark-submit --class LzWordCount lzscalasparktest_2.11-0.1.jar
我這邊的運行結果如下圖所示: