原创 systemctl啓動filebeat

        filebeat通常要在後臺啓動,但是有時會有進程莫名掛掉的請況,由於機器採集的又不是線上服務,所以也無法添加監控,就想到用systemctl來啓動filebeat。        如果你是rpm安裝的filebeat,那麼

原创 multi-fields elasticsearch

It is often useful to index the same field in Elasticsearch in different ways, to serve different purposes, for example,

原创 dataTable 參數詳解

//@translator codepiano //@blog codepiano  //@email [email protected] //嘗試着翻譯了一下,難免有錯誤的地方,歡迎發郵件告知,多謝。 /*-----------

原创 Python Twisted介紹

原文鏈接:http://www.aosabook.org/en/twisted.html翻譯連接:http://blog.csdn.net/hanhuili/article/details/9389433#t7作者:Jessica McKe

原创 瞭解DataTables

官方網站:http://www.datatables.net/簡介:DataTables是一個jQuery的表格插件。這是一個高度靈活的工具,依據的基礎逐步增強,這將增加先進的互動控制,支持任何HTML表格。主要特點: 自動分頁處理即時表格

原创 flume從kafka讀取數據到hdfs中的配置

#source的名字 agent.sources = kafkaSource # channels的名字,建議按照type來命名 agent.channels = memoryChannel # sink的名字,建議按照目標來命名 agen

原创 yum 安裝MySQL目錄

數據庫目錄/var/lib/mysql/配置文件/usr/share/mysql(mysql.server命令及配置文件)相關命令/usr/bin(mysqladmin mysqldump等命令)啓動腳本/etc/rc.d/init.d/(

原创 Python Signal(信號) 異步系統事件

  信號的概念 信號(signal)--     進程之間通訊的方式,是一種軟件中斷。一個進程一旦接收到信號就會打斷原來的程序執行流程來處理信號。 幾個常用信號: SIGINT     終止進程  中斷進程  (control+c) SIG

原创 megacli 查看Raid卡和硬盤信息

megacli的安裝通過如下鏈接http://down.51cto.com/data/2042596或者http://pan.baidu.com/s/1eQ2FeHc下載至windows本地桌面,然後在linux命令行用命令:rz -be

原创 SQL Case when 的使用方法

Case具有兩種格式。簡單Case函數和Case搜索函數。--簡單Case函數CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女' ELSE '其他' END --Case搜索函數 CASE WHEN s

原创 union和union all的區別

Union因爲要進行重複值掃描,所以效率低。如果合並沒有刻意要刪除重複行,那麼就使用Union All 兩個要聯合的SQL語句 字段個數必須一樣,而且字段類型要“相容”(一致);如果我們需要將兩個select語句的結果作爲一個整體顯示出來,

原创 flume從kafka讀取數據到hdfs中的配置

#source的名字 agent.sources = kafkaSource # channels的名字,建議按照type來命名 agent.channels = memoryChannel # sink的名字,建議按照目標來命名 agen

原创 InfluxDB刪除數據

很多InfluxDB的文章都說InfluxDB是時序數據庫,不支持刪除。但實際測試是可以刪除的。 連接InfluxDB 一張叫uv的表 執行刪除後

原创 elasticsearch結構化查詢

{"query": {"bool": {"must": [{"term": {"aaa": "bbbbb"}},{"term": {"ip": "8.8.8.8"}}],"must_not": [],"should": []}},"from

原创 從Kafka到Hdfs的一些pipeline

找時間總結整理了下數據從Kafka到Hdfs的一些pipeline,如下1> Kafka -> Flume –> Hadoop Hdfs常用方案,基於配置,需要注意hdfs小文件性能等問題.GitHub地址: https://github.