原创 OpentTsdb官方文檔中文版----查詢性能

緩存   此時OpenTSDB沒有內置緩存(除了將緩存PNG圖像文件60秒的內置GUI)。因此只能依靠底層數據庫的緩存。在HBase(最常見的OpenTSDB後端)中,有一個塊緩存的概念,它可以在寫入 和/或 讀取時在內存中存儲行和列的塊。

原创 Apache Knox官方文檔中文版(1.1.0)--簡介

Apache Hadoop生態中REST API和應用的網關   Apache Knox是一個通過REST API和UI與Apache Hadoop 部署交互的應用網關。  Knox網關爲所有與Hadoop集羣的REST和HTTP交互提供了

原创 Apache Knox官方文檔中文版(1.1.0)--簡介

Apache Hadoop生態中REST API和應用的網關 Apache Knox是一個通過REST API和UI與Apache Hadoop 部署交互的應用網關。Knox網關爲所有與Hadoop集羣的REST和HTTP交互提供了一個單獨

原创 OpentTsdb官方文檔中文版----查詢示例

  以下是使用示例數據集合的查詢示例列表。我們將說明可能遇到的一些常見查詢類型,以便了解查詢系統的工作原理。示例集合中的每個時間序列都只存儲一個數據點,並且UID已被截斷爲單個字節,以便於閱讀。示例查詢都是來自HTTP API的指標查詢,並

原创 Apache HAWQ 創建使用SSD磁盤的表

HDFS啓用SSD存儲 1.配置HDFS的數據節點 [DISK]/hadoop/hdfs/data,[SSD]/hadoop/hdfs/ssd 在所有的數據節點上掛載ssd盤到路徑/hadoop/hdfs/ssd下並保證/hadoop/hd

原创 Apache Calcite官方文檔中文版- 進階-1. 適配器

第二部分 進階(Advanced) 1. 適配器(Adapters) 1.1 Schema adapters   一個schema adapter允許Calcite去讀取特定類型的數據,將這些數據以一種table格式schema展示出來

原创 Apache Calcite官方文檔中文版- 概覽-2. 教程

第一部分 概覽 2. 教程   本章針對Calcite的連接建立提供了循序漸進的教程,使用一個簡單的適配器來將一個CSV文件目錄以包含Schema信息的tables形式呈現,並提供了一個完全SQL接口。  Calcite-example

原创 OpentTsdb官方文檔中文版----降採樣

  降採樣(或在信號處理中,抽取)是降低數據採樣率或分辨率的處理過程。例如,假設溫度傳感器每秒鐘都向OpenTSDB系統發送數據。如果用戶在一小時內查詢數據,他們將獲得3,600個數據點,這些數據點可以相當容易地繪製出來。但是現在,如果用戶

原创 Apache Arrow官方文檔-IPC進程間通信

封裝消息格式   流和文件格式中的數據組件表示爲封裝 消息,包括: 指示元數據大小的長度前綴 消息元數據作爲Flatbuffer 平鋪緩衝區 將字節填充到8字節邊界 消息體示意,我們有: <metadata_size: int32> <m

原创 Apache Arrow官方文檔-內存結構

定義/術語   由於不同的項目使用不同的詞語描述各種概念,所以這裏有一個小小的術語表來幫助消除歧義。 數組:已知長度具有相同類型的值序列。 槽或數組槽:一些特定數據類型的數組中的單個邏輯值 連續的內存區域:給定長度的順序虛擬地址空間。任何

原创 Apache Calcite官方文檔中文版-概覽-1.背景

第一部分 概覽 1. 背景   Apache Calcite是一個動態數據管理框架。它包含了許多組成典型數據管理系統的經典模塊,但省略了一些關鍵×××: 數據存儲,數據處理算法和元數據存儲庫。  Calcite有意地遠離了存儲和處理數據

原创 Apache Flink官方文檔中文版-數據流上有狀態的計算

應用生態圖 特點 所有流式計算場景 事件驅動的應用程序 流和批量分析 數據管道和ETL 保證正確性 完全一次的語義 事件處理 複雜的後期數據處理 分層PAI 流和批量數據上的SQL DataStream API和DataSet A

原创 Apache Hawq-使用中遇到的問題和解決方法

\df 查看函數列表\df+ 查看自定義函數 \dc 查看轉換\dc+ \l 查看數據庫列表 \d table 查看錶信息\d+ table 查看錶詳細信息 select * from information_schema.schemata

原创 Apache Beam官方文檔

1.   概述爲了使用Beam,首先必須使用Beam SDKs其中一個SDK裏面的類創建一個驅動程序。驅動程序定義了管道,包括所有的輸入,轉換以及輸出。它還爲您的管道設置了執行選項(通常使用命令行選項傳遞)。這些包括管道運行器,又決定了管道

原创 OpenTsdb官方文檔----查詢過濾器

  任何數據庫系統的關鍵功能是使用某種形式的過濾來獲取完整數據集的子集。OpenTsdb從版本1.x開始提供了過濾功能,並從2.2開始具有了擴展功能。過濾器目前在標籤值上運行,這意味着在拉取數據時,任意指標和標籤Key都必須按照與數據庫中完