原创 HIVE 查詢 SemanticException [Error 10004]
錯誤查詢： select a.create_date ,count(*) from ( select TB1.create_date from TB1 join TB2on ( TB1.wrappe
2020-02-24 03:26:30
原创 kafka測試
安裝完kafka後，做了下簡單測試 消息生產端： import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.K
2020-02-24 03:26:20
原创 SVM模型預測
library(e1071) source <- c(10930,10318,10595,10972,7706,6756,9092,10551,9722,10913,11151,8186,6422, 6337,11649,11652,1
2020-02-24 03:26:20
原创 Elasticsearch 權限控制
隨着ES的廣泛使用，其安全問題也備受關注，雖然ES集羣一般部署於公司內網，但多個業務部門使用同一套ES集羣的情況非常多，如何做好數據共享、訪問隔離，防止用戶誤操作、數據泄露等，這需要一套良好的權限控制機制。 1.方案調研 目前官方的安全模
2018-09-04 16:51:52
原创 Kibana查詢耗時
kibana 查詢，會對查詢時間段，做聚合操作，最近15min，則會聚合每30秒的文檔數： 當查詢時間範圍內的文檔數特別大時，將非常耗時，有時會報錯： 查詢Request Payload： {"index":"www_log-*
2018-09-04 16:51:51
5
原创 Kafka實時流數據經Storm至Hdfs
目前HDFS上日誌一部分由MR清洗生成&二次計算，一部分直接從服務器離線上傳，但在私有云環境下，離線日誌的壓縮上傳可能會對服務造成性能影響，而且在很多日誌已經實時傳輸到Kafka集羣的情況下，考慮Kafka->Hdfs也不失爲一條合理的路
2018-09-04 16:51:51
原创 初次使用AWS S3服務
創建第一個 IAM 管理員用戶和組 http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/getting-started_create-admin-group.html 安裝AWS
2018-09-04 16:51:51
1
原创 Zookeeper節點類型
public enum CreateMode { /** * 持久節點：節點創建後，會一直存在，不會因客戶端會話失效而刪除； */ PERSISTENT (0, false, false),
2018-09-04 16:51:51
原创 基於zookeeper簡單實現分佈式鎖
這裏利用zookeeper的EPHEMERAL_SEQUENTIAL類型節點及watcher機制，來簡單實現分佈式鎖。主要思想：1、開啓10個線程，在disLocks節點下各自創建名爲sub的EPHEMERAL_SEQUENTIAL節點；
2018-09-04 16:51:51
原创 storm集羣任務遷移問題平滑遷移
最近想把老storm集羣上的部分任務，遷移到新搭建的storm集羣上。 BrokerHosts hosts = new ZkHosts(Constants.ZOOKEEPER_HOSTS); 雖然都是從一個kafka集羣取數，但
2018-09-04 16:51:51
原创 Arima預測模型（R語言）
ARIMA(p，d，q)模型全稱爲差分自迴歸移動平均模型(Autoregressive Integrated Moving Average Model,簡記ARIMA)，AR是自迴歸， p爲自迴歸項； MA爲移動平均，q爲移動平均項數
2018-09-04 16:51:51
492
原创 Zookeeper寫文件原子類
文件實際是被寫入一個後綴爲.tmp的臨時文件中，只有當數據完全寫入磁盤後，纔會覆蓋目標文件。 在window平臺下，需要先delete目標文件，再執行renameTo操作。 package org.apache.zookeeper.com
2018-09-04 16:51:51
原创 Zookeeper啓動過程
啓動腳本：zookeeper-3.3.5/bin/zkServer.sh 入口類：org.apache.zookeeper.server.quorum.QuorumPeerMain 1、若傳入了配置文件路徑，則進行解析； 2、開啓清
2018-09-04 16:51:50
原创 Impala metadata 刷新
Impala 在傳統的MYSQL 或 PostgreSQL 數據庫稱爲 Metastore 上保持其表定義，Hive 也在相同的數據庫上保存此類型的數據。因此，Impala 可以訪問由 Hive 定義或加載的表。 對於具有大量數據或多個
2018-09-04 16:51:50
8
原创 ES索引延時監控
本文通過ES提供的Restful Api來獲取索引的最新一條數據，來簡單監控其延時情況。 #!/bin/sh export LANG=en_US.UTF-8 index="app_logs" timeField="@timestamp"
2018-09-04 16:51:50