spark異常記錄

• 阿里雲EMR running beyond physical memory limits. Current usage: 2.1 GB of 2 GB physical memory used
  (1) 調整 spark.yarn.driver.memoryOverhead 或 spark.yarn.executor.memoryOverhead
  (2) 在作業編輯頁面設置內存（默認2G）。 作業設置→高級設置→內存設置

• spark不打印stage運行
  （1）2.3版本之後，默認關閉。開啓設置
  config.set(“spark.ui.showConsoleProgress”,“true”)