原创 Timeline Service v.2 (HDP3.1 )參數配置以及相關環境
Timeline Service v2 默認集成嵌入HBase(HMaster、HRegionServer)，進程啓動 User: yarn-ats 嵌入HBase配置文件路徑： [yarn-ats@master1 embedded-ya
2020-03-09 15:23:30
38
原创 Delta Lake簡介
Delta Lake 是一個存儲層，爲 Apache Spark 和大數據 workloads 提供 ACID 事務能力，其通過寫和快照隔離之間的樂觀併發控制（optimistic concurrency control），在寫入數據期間提
2020-03-06 15:19:04
3
原创 Hadoop NameNode 高可用 (High Availability) 實現解析
原文鏈接NameNode 高可用整體架構概述在 Hadoop 1.0 時代，Hadoop 的兩大核心組件 HDFS NameNode 和 JobTracker 都存在着單點問題，這其中以 NameNode 的單點問題尤爲嚴重。因爲 Name
2019-09-02 14:31:31
6
原创 爲什麼我要選擇使用 Yarn 來做 Docker 的調度引擎
原文鏈接作者： 祝威廉編者按Mesos 和 Yarn 都是非常優秀的資源調度框架，社區也有很多的人分析二者的區別以及使用場景。之前 InfoQ 也有發問聊過二者的關係。目前業界用的較多的是 Mesos，這篇文章就是爲了解釋爲什麼作者選擇使用
2019-07-03 14:24:42
原创 Apache Ranger：統一授權管理框架
Apache Ranger 是一個用在 Hadoop 平臺上並提供操作、監控、管理綜合數據安全的框架。Ranger 的願景是在 Apache Hadoop 生態系統中提供全面的安全性。 目前，Apache Ranger 支持以下 Apach
2019-07-03 14:24:42
原创 UI version info of RegionServer Error(hdp3.1 )
The Error Info as follows:The codes are as follows: hbase-server/src/main/java/org/apache/hadoop/hbase/client/VersionI
2019-06-19 14:25:55
1
原创 Apache Calcite官方文檔中文版- 進階-2. 空間(Spatial)
第二部分 進階（Advanced） 空間（Spatial） Calcite旨在實現OpenGIS簡單特性實現規範(SQL)版本，這是一個由PostGIS 和H2GIS等空間數據庫的標準實現。 我們還旨在爲空間索引 和其他形式的查詢優化
2019-06-11 14:18:27
8
原创 Apache Calcite官方文檔中文版- 進階-3. 流（Streaming）
第二部分 進階(Advanced) 3. 流（Streaming） Calcite擴展了SQL和關係代數以支持流式查詢。 3.1 簡介 流是收集到持續不斷流動的記錄，永遠不停止。與表不同，它們通常不存儲在磁盤上，而流是通過網絡，並在
2019-06-11 14:18:27
6
原创 Apache Calcite官方文檔中文版- 進階-4. Lattices
第二部分 進階(Advanced) 1. Lattices Lattice是一個創建並填充物化視圖的框架，可以識別以及解決特定查詢的物化視圖。 一個Lattice代表一個星型(或雪花)模型，不是通用的schema。特別地，所有的連接關
2019-06-11 14:18:27
5
原创 OpenTSDB v2.4.0 Intellij IDEA開發環境搭建
源碼準備 1.下載源代碼 lynn@lynn-ubuntu:/codes/github$ git clone https://github.com/OpenTSDB/opentsdb.git Cloning into 'opentsdb'.
2019-05-15 14:18:08
3
原创 hbase2.0 vs hbase1.x 延時比較
原文鏈接摘要： 背景 hbase2.0已經正式發佈，對比之前1.x版本，2.0在讀寫鏈路上做了完善的優化，offheap、netty rpc等，這裏做個小測試實驗對比1.x和2.0在讀寫上的延時情況。本測試基於特定測試環境與軟件版本得到的結
2019-04-25 14:16:57
1
原创 詳解HDFS短路本地讀取(Short Circuit Local Reads)
[原文鏈接](https://www.zybuluo.com/jewes/note/37713) 詳解HDFS Short Circuit Local ReadsHadoop的一大基本原則是移動計算的開銷要比移動數據的開銷小。因此，Hado
2019-03-29 14:13:00
8
原创 Flink SQL解析Json格式數據的方法
1. Flink版本1.7.2 2. 引入依賴 使用maven構建工程，因此pom.xml添加如下依賴： <dependency> <groupId>org.apache.flink</groupId>
2019-03-27 14:11:11
5
原创 Apache Flink官方文檔-Flink CEP
原文鏈接 Flink CEP 0. 本文概述簡介 FlinkCEP是在Flink之上實現的複雜事件處理（CEP）庫。 它允許你在×××的事件流中檢測事件模式，讓你有機會掌握數據中重要的事項。 本文描述了Flink CEP中可用的API調用。
2019-03-13 13:53:15
6
原创 Flink 原理與實現：Session Window
原文鏈接： http://wuchong.me/blog/2016/06/06/flink-internals-session-window/ 在上一篇文章：Window機制中，我們介紹了窗口的概念和底層實現，以及 Flink 一些內建的窗
2019-03-12 13:52:29
15