原创 X-Pack Spark 訪問OSS

簡介對象存儲服務(Object Storage Service,OSS)是一種海量、安全、低成本、高可靠的雲存儲服務,適合存放任意類型的文件。容量和處理能力彈性擴展,多種存儲類型供選擇,全面優化存儲成本。本文主要介紹通過Spark操作OSS

原创 SparkStreming:使用Checkpoint創建StreamingContext修改executor-cores、executor-memory等資源信息不生效。

在使用SparkStreaming時,使用StreamingContext.getOrCreate(checkpointDirectory, functionToCreateContext _)創建StreamingContext。代碼示例

原创 Spark on HBase Connector:如何在Spark側設置HBase參數

前言 X-Pack Spark可以使用Spark on HBase Connector直接對接HBase數據庫,讀取HBase數據表數據。有時在讀取HBase時需要設置HBase的一些參數調整性能,例如通過設置hbase.client.sc

原创 X-Pack Spark使用[FAQ]

概述 本文主要列出在使用X-Pack Spark的FAQ。 Spark Connectors 主要列舉Spark 對接其它數據源遇到的問題 Spark on HBase Spark on HBase Connector:如何在Spark側

原创 Spark用戶手冊

概述 Spark是大數據平臺的通用計算平臺,應用非常廣泛。本文主要介紹Spark相關的知識,主要包括:瞭解Spark,使用Spark,使用Spark過程中遇到的問題FAQ等,謹幫助用戶快速的掌握Spark以及如何使用Spark。X-Pack