簡介
對象存儲服務(Object Storage Service,OSS)是一種海量、安全、低成本、高可靠的雲存儲服務,適合存放任意類型的文件。容量和處理能力彈性擴展,多種存儲類型供選擇,全面優化存儲成本。
本文主要介紹通過Spark操作OSS數據的常見方式,代碼以Scala爲例。本文的代碼可以通過“數據工作臺”提交。
前置條件
- OSS已經創建bucket,假設名稱爲:test_spark
- 已創建具備讀寫OSS bucket:test_spark權限的用戶。假設用戶名爲test_oss,訪問OSS的AccessKeyID和AccessKeySecret分別爲:accessId,accessKey。
- OSS的路徑格式爲:oss://${AccessKeyID}:${AccessKeySecret}@${bucketName}.${endPoin