原创 ELK 7.x -- elastalert 企業微信告警
Elastalert_Wechat_Plugin 基於ElastAlert的微信企業號報警插件 https://github.com/Yelp/elastalert https://github.com/Hello-Linux/
2019-06-25 17:59:35
63
原创 Golang查詢Elasticsearch
本文主要講 golang 連接 es 的常用操作 1.下載依賴庫 $ go get github.com/olivere/elastic 操作代碼如下： es.go package es import ( "context" "
2019-02-16 20:15:05
15
原创 hbase region下線故障修復
故障： 1.8.7-p357 :023 > get 'GPSDATA','42dc_1698207629_8482964999' COLUMN CELL
2018-11-28 13:16:04
原创 pandas 處理cvs格式文件
最近處理了一個ip地址段轉換的問題，在用python轉換完成後試了下數據分析框架pandas，果然速度快了不止一倍。 記錄一下pandas處理cvs文件的用法。 源文件（170M）示例如下： 000.000.000.000,000.255
2018-08-26 15:10:01
原创 Zookeeper部署
1. 部署 本章節主要講述如何部署 ZooKeeper，包括以下三部分的內容： 1. 系統環境 2. 集羣模式的配置 3. 單機模式的配置 系統環境和集羣模式配置這兩節內容大體講述瞭如何部署一個能夠用於生產環境的 ZK 集羣。如果僅僅是
2018-08-26 15:10:01
2
原创 java8 獲取當天的開始時間和結束時間
根據需求需要取得當天的零點 LocalDateTime today_start = LocalDateTime.of(LocalDate.now(), LocalTime.MIN);//當天零點 String td_st_str = to
2018-08-26 15:09:55
原创 Twitter的分佈式自增ID算法snowflake (Java版)
概述 分佈式系統中，有一些需要使用全局唯一ID的場景，這種時候爲了防止ID衝突可以使用36位的UUID，但是UUID有一些缺點，首先他相對比較長，另外UUID一般是無序的。 有些時候我們希望能使用一種簡單一些的ID，並且希望ID
2018-08-26 15:09:53
原创 oracle刪除相同記錄中的一條
表TEST idno name age1001 a 181001 a 18 查出rowid select t.*,t.rowid from test as
2018-08-26 15:09:53
原创 SparkSql--JDBCDataSource
使用mysql數據庫，測試表： student_infos: name age liming 23 …. student_scores: name score liming 88 …. package spark
2018-08-26 15:09:53
原创 spark shuffle過程
1. SparkShuffle1. SparkShuffle概念reduceByKey會將上一個RDD中的每一個key對應的所有value聚合成一個value，然後生成一個新的RDD，元素類型是<key,value>對的形式，這樣每
2018-08-26 15:09:53
原创 Hbase1.2.6安裝
1.先決條件 Zookeeper hadoop : http://blog.csdn.net/qq_21835703/article/details/51984557 2.部署 • 配置regionservers ，主機名
2018-08-26 15:09:53
原创 Elasticsearch5.1集羣+kibana部署
第1章 Elasticsearch簡介 Elasticsearch是個開源分佈式搜索引擎，它的特點有：分佈式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。 以下簡稱Elasticsea
2018-08-26 15:09:51
原创 spark性能調優（一）JVM調優
性能調優 JVM調優原理概述 不夠炫但是很有用 夠炫聽起來高端的 1、常規性能調優：分配資源、並行度。。。等 2、JVM調優（Java虛擬機）：JVM相關的參數，通常情況下，如果你的硬件配置、基礎的JVM
2018-08-26 15:09:51
3
原创 spark入門之WordCount
maven配置： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="
2018-08-26 15:09:51
原创 Redis 高可用--主從複製
第1章 Redis-HA簡介 設計原理： 當Master與Slave均運作正常時, Master負責服務，Slave負責Standby； 當Master掛掉，Slave正常時, Slave接管服務，同時關閉主從複製功能；
2018-08-26 15:09:51