X-Pack Spark 訪問OSS

簡介

對象存儲服務(Object Storage Service,OSS)是一種海量、安全、低成本、高可靠的雲存儲服務,適合存放任意類型的文件。容量和處理能力彈性擴展,多種存儲類型供選擇,全面優化存儲成本。
本文主要介紹通過Spark操作OSS數據的常見方式,代碼以Scala爲例。本文的代碼可以通過“數據工作臺”提交。

前置條件

  1. OSS已經創建bucket,假設名稱爲:test_spark
  2. 已創建具備讀寫OSS bucket:test_spark權限的用戶。假設用戶名爲test_oss,訪問OSS的AccessKeyID和AccessKeySecret分別爲:accessId,accessKey。
  3. OSS的路徑格式爲:oss://${AccessKeyID}:${AccessKeySecret}@${bucketName}.${endPoin
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章