原创 logstash處理input數據中message同級的 host,@timestamp字段
https://blog.csdn.net/smile_lty/article/details/79931775
2020-06-16 15:46:05
原创 Received an event that has a different character encoding than you configured
在使用logstash解析某log文件時，由於文件中出現了非正常編碼的字符，導致啓動logstash在解析到某條數據時會報錯： Received an event that has a different character encod
2020-06-16 15:46:05
23
原创 logstash中input爲file時文件沒有變化時讀過一次就不再讀了
在測試階段時，會對同一個文件讀很多次，但是發現有的時候好像logstash就跟沒讀文件似的，遇到這種情況，我們可以添加兩個屬性，這樣每次讀的時候就會重新讀。 start_position => "beginning" 、、表示文件從
2020-06-16 15:46:05
原创 logstash date插件設置日期格式正確，但是在elasticsearch中一直不是date類型
在對apache 的access.log解析後，將HTTPDATE對應的字段timestamp轉爲date類型，按如下格式轉換後，在es中顯示的仍然不是date類型。可以嘗試去index patterns頁面點擊index右上角的刷新按鈕
2020-06-16 15:46:05
1
原创 kibana中已存在的字段在avaliable中類型顯示問號，無法在visualize中使用
kibana中在discover頁面數據展示的左側有一項是avaliable fileds，每個字段前面會有不同的標識，如t，?，時鐘。。。。 表示的含義參考： https://blog.csdn.net/yy4545/article/d
2020-06-16 15:46:05
原创 elasticsearch watcher action email發送表格類型的郵件
有時候我們想對es query出來的數據在action發送郵件時以表格的形式發送，可以參考下面的方法： "action": { "test_send_email": { //action name "em
2020-04-26 03:01:02
1
原创 elasticsearch watcher中時區轉換問題，並對日期進行格式化
由於在elasticsearch中保存的是UTC時區，如果我們想要對時區進行轉換，可以在transform中用script的方式操作： "transform": { "script": { "source": "
2020-04-26 03:01:02
原创 elasticsearch query中如何查詢從當天零時起到現在的數據（00:00）
在es query時，有時我們想查詢當天零時起到現在的數據，表達方式如下： { "range": { "timestamp": { "gte": "now/d", //表示當天的
2020-04-26 03:01:02
1
原创 logstash 將兩個字段合併爲一個字段的方法
假設message中含有[01/14/2020][18:35:46]，想要把這兩個拼接爲一個日期字段，需要使用mutate插件： grok{ match => { "message" => "\[%{GREED
2020-03-13 01:42:47
9
原创 使用logstash grok解析x-forwarder log
x-forwarder.log中的特點是： 前面第一個ip是client，後面的ip都是proxy，proxy可以有多個。 logstash conf: if "," in [message]{ grok{ ma
2020-03-11 11:03:21
原创 elasticsearch watcher chain input截取字符串並引用參數
需求：在es的watcher中想使用chain input，第一個Input使用http input，然後對response中的數據進行部分截取作爲第二個Input中的參數。官方提供的一種方法是在第一個input和第二個input中間加一
2020-02-22 19:36:13
5
原创 centos7下安裝ansible
中文指南：http://www.ansible.com.cn/docs/intro_installation.html#yum https://getansible.com/ control machine：192.168.184.128
2020-02-22 19:36:03
原创 elasticsearch curator安裝及應用
curator與elasticsearch版本的兼容性列表：https://www.elastic.co/guide/en/elasticsearch/client/curator/current/version-compatibilit
2020-02-22 19:36:03
22
原创 logstash中date插件處理多個日期字段
在logstash的date插件中使用match處理數據中的日期字段時，如果是一條記錄中有多個日期字段需要進行處理，那麼寫法應該是在同一個date插件中並列寫多個match還是有別的處理方法呢，試了一下並列寫match會提示錯誤，後來看到
2020-02-22 19:36:03
1