台部落LynnYuanJn

原文鏈接 JobManager高可用性（HA）作業管理器JobManager協調每個Flink部署組件，它負責調度以及資源管理。默認情況下，每個Flink集羣只有一個獨立的JobManager實例，因此可能會產生單點故障（SPOF

2019-02-13 13:38:58

1. 下載源代碼： git clone https://github.com/apache/flink.git git branch -a 檢出blink分支 git checkout -b blink remotes/origin

2019-01-30 13:33:03

resource-managers\pom.xml org.apache.spark.deploy.SparkSubmit.scala org.apache.spark.deploy.k8s.submit.Client.scala

2019-01-30 13:33:03

數據流編程模型原文鏈接博主理解篇抽象層次 Flink提供不同級別的抽象來開發流/批處理應用程序。這個最低級別的抽象提供了有狀態的流式操作。它是通過處理函數嵌入到DataStream API。它允許用戶自由的處理一個或者多個數據

2019-01-01 14:07:17

一. 前提條件 Zookeeper集羣正常運行二. 部署步驟下載Spark程序壓縮包 wget http://mirrors.shu.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-ha

2018-12-29 13:45:31

1. 編輯相關腳本 1.1 接入點腳本 docker-entrypoint.sh #!/bin/bash set -e exec "$@" 1.2 啓動腳本 start.sh #!/usr/bin/env bash bin/start-

2018-12-26 13:44:22

原文鏈接本文檔適用於Apache Flink 1.7版。這些頁面的構建時間爲：12/25/18，UTC時間01:02:09 Apache Flink是一個用於分佈式流和批處理數據處理的開源平臺。Flink的核心是流數據流引擎，爲數據流

2018-12-26 13:44:20

&nmsp;OpenTSDB目前支持Apache HBase作爲其主要的存儲後端。截止版本2.3，OpenTSDB也可以使用Google雲上的Bigtable。選擇下面的HBase鏈接以存儲架構或Bigtable以查找用於雲中的配置和設置。

2018-12-25 13:43:32

下載源代碼，並解壓下載地址 tar -zxvf v2.3.2.tar.gz 編譯 cd spark-2.3.2 build/mvn install -DskipTests build/mvn compile -Pkubernetes

2018-09-27 02:43:46

架構原文鏈接 Apache Flink是一個用於對無邊界和有邊界數據流進行有狀態計算的框架和分佈式處理引擎。Flink設計爲運行在所有常見的集羣環境中，並且以內存速度和任何規模執行計算。在這裏，我們解釋Flink架構的相關重要內容

2018-09-24 02:36:49

OpenTSDB旨在在查詢執行的過程中有效地組合多個不同的時間序列。原因在於：當用戶查看他們的數據，他們通常會從高層的角度開始提問，例如“數據中心的總吞吐量是多少”或“當前地區用電量是多少”。在查看到這些高層次的值之後，可能會出現一個或

2018-09-10 04:19:29

元數據：邏輯類型，模式，數據頭這是Arrow元數據規範的文檔，它使系統能夠通信邏輯數組類型（使用Layout.md中指定的物理內存佈局實現） Arrow數據結構的表格集合的模式 “數據頭”指明內存緩衝區的物理位置，內存緩衝區不復制內存

2018-09-10 04:19:29

一. TPC-H編譯 1.下載工具TPC-H 下載地址 2. 拷貝生成makefile，並修改makefile /opt/tpc-h-v2.17.0/dbgen cp makefile.suite makefile 修改makefile 3

2018-09-10 04:19:29

雖然TSDB被設計爲只要有空間就可以存儲原始全分辨率(resolution)的數據，但是對於廣泛的時間範圍或在許多標籤組合之上的查詢可能是相當痛苦的。這樣的查詢可能需要很長時間才能完成，或者在最糟糕的情況下，可能會導致內存不足的異常。從

2018-09-10 04:19:29

優化工作：數據表分區儘量採用數值類型字段，如Date類型轉換爲距離1970-01-01的絕對天數。 SQL語法：儘量避免between and 的使用(查看查詢計劃，影響不大)，多個子查詢時儘量使用CTE（with v as…）查詢。

2018-09-10 04:19:29