基於IntelliJ Idea的Scala開發環境搭建一遠程上傳以及遠程集羣調試

具體步驟如下:

  1. 配置遠程的Deployment
  2. 配置本地上傳目錄以及遠程目標目錄
  3. 配置排除上傳哪些文件

配置遠程Deployment

打開IntelliJ Idea的該項目的“Preferences”,選擇添加SFTP遠程方式,然後配置遠程主機、用戶名以及密碼,如下圖所示:
在這裏插入圖片描述

配置本地上傳目錄以及遠程目標目錄

配置本地上傳目錄以及遠程目標上傳目錄,如下圖所示:
在這裏插入圖片描述

配置忽略上傳目錄

並不是所有文件都需要上傳到遠程服務器,因此還需要排除掉一些不需要上傳的文件或者目錄,例如我這裏的設置如下:
在這裏插入圖片描述
打包之後可以手動上傳到遠程集羣,如下圖所示:
在這裏插入圖片描述
可以在IntelliJ Idea中查看傳輸是否成功,如下圖所示:
在這裏插入圖片描述
上傳jar到集羣之後,可以在集羣上面運行或者調試Scala代碼,例如我這邊的jar包,可以通過如下命令運行:

spark-submit --class LzWordCount lzscalasparktest_2.11-0.1.jar

我這邊的運行結果如下圖所示:
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章