原创 presto安裝介紹
Presto是一個開源的分佈式SQL查詢引擎，適用於交互式分析查詢，數據量支持GB到PB字節。 中文網地址：http://prestodb-china.com/ 官方地址：https://prestodb.io/ 最新下載地址：http
2018-08-27 19:21:51
原创 【異常】SparkStreaming長時間運行出現： Dropping SparkListenerEvent because no remaining room in event queue
問題描述 在SparkStreaming任務提交後，經過長時間的運行會在SparkUI的Jobs界面出現Job的執行時間出現幾個小時的情況，點進去發現Stage已經處於unkown狀態，如下圖： 查看日誌後發現下面ERROR異常： 201
2018-08-27 19:21:51
10
原创 Spark Kafka(createDirectStream)自己管理offset
1、SparkStreaming中使用Kafka的createDirectStream自己管理offset 在Spark Streaming中，目前官方推薦的方式是createDirectStream方式，但是這種方式就需要我們自己去管
2018-08-27 19:21:51
6
原创 【異常】關於使用ES的RestHighLevel JavaAPI執行search操作時，參數的問題
問題描述： 在使用ES的JavaRest API 的RestHighLevelClient，執行searchRequest操作時，出現部分請求參數不能識別的情況，如下： contains unrecognized parameters:
2018-08-27 19:21:51
12
原创 分佈式查詢工具-Apache Drill
1.概述. 2.特點. 3.原理. 4.架構. 5.Drill安裝. 6.集羣安裝. 7.連接數據源 8.應用 9.性能調優 1）查詢計劃選項的修改 2）Modify broadcast join options
2018-08-27 19:21:50
22
原创 Spark Bulkload(Java)
1、使用Spark通過Bulkload的方式導數據到Hbase 在未用Bulkload寫Hbase時，使用RDD進行封裝爲Tuple2<ImmutableBytesWritable, Put>的KVRDD，然後通過saveAsNewAP
2018-08-27 19:21:49
26