公司有一臺飛塔防火牆，是基於utm的，很多功能都過期了，之前我配置了破解的anlayer來收集分析防火牆策略日誌，非常好用，但是這玩意要錢，只能試用30天，我是把系統時間調成了2017年，避免到期，但是收集的時間不準，非常麻煩。
如下所示：
所以想用graylog3.0來收集分析飛塔防火牆的日誌
首先graylog是一個大數據分析平臺，只拿來收集日誌有點大材小用，但是我又不懂大數據=。=
1、graylog 的content packs和marketplace
content pack(內容包）內容包是共享配置的便捷方式。內容包是一個JSON文件，其中包含一組Graylog組件的配置。可以將此JSON文件上載到Graylog實例，然後進行安裝。花費時間爲特定類型的日誌格式創建輸入，管道和儀表板的用戶可以輕鬆地與社區分享他的努力。
graylog marketplace是分享和購買內容包的市場。
可以簡單理解爲，有很多大神提供給了不同的數據分析方式供人下載使用，滿足不通的數據分析需求
地址爲
https://marketplace.graylog.org/
收索forita相關
搜索結果如下：
我使用第一個
包含了github地址和配置方法
github地址爲https://github.com/juiceman84/Fortigate_Content_Pack
2、graylog導入內容包
登陸graylog後，在system->connet packs中配置內容包
可以看到系統自帶內容包，點擊create a content pack來導入
然後按照如下填寫
切記 url要填寫 github地址https://github.com/juiceman84/Fortigate_Content_Pack
然後下一步，不用調整
再然後下一步
其他的不用管，因爲我也不知道是幹嘛的 然後點擊create
完成後點擊安裝
此時內容包就已經安裝完畢了，是不是很簡單
但是你以爲簡單是因爲不知道那麼多選項是幹嘛的=。=
3、配置input
在system->input中配置日誌接收方式
因爲防火牆日誌都是syslog格式，所以要新建一個syslog udp的input
按照如下進行配置即可，端口是30000，這是內容包說明要求的，udp還是tcp協議取決於防火牆是否支持，公司這款飛塔防火牆只支持udp協議
完成後，去防火牆上配置日誌發送,端口需要一致
然後去配置input的extrators（提取器），所謂提取器以下是官方說明
簡單來說，就是syslog協議太簡單了，需要提取器來配置一定的格式，比如顯示時間，主機，內容等，不然收集到的日誌就是一堆亂糟糟的cvs文本
然後在action中點擊import extrators
這裏要求你輸入一段json格式代碼
老子搞運維的，懂哥毛的json
不要緊，之前內容包的github中已經包含了提取器的json,只是要我們手動寫入
然後把代碼複製粘貼
然後點擊添加
添加成功後，可以看到出現了很多提取器，這是之前內容包中配置好的
配置完了後，然後就可以收集了，點擊啓動
然後就就可以看到收集的信息了
4、配置
收集的日誌信息很亂，包括策略日誌，信息日誌，而且內容很雜，所以要調整
首先配置信息顯示的字段（fields)，包括日期啊，源地址，目的地址等,不要都選，選擇重要的即可，按照防火牆策略五元組信息（源目的端口，原目的地址，協議）進行勾選
其次，在搜索框中，輸入搜索的信息類型，使用type=traffic代表過濾出流量類型的信息
說明：
1、搜索框中，輸入字段 type=taffic,代表流量
2、這些可以選擇的字段，是因爲配置了內容包採用，沒有配置內容包，是沒有這些字段過濾和選擇的
簡單說明下字段作用
timestamp：時間戳
source:發送日誌的源設備
dst:目的地址
dst_int:目的接口
level:日誌等級
msg:處理動作
policyid:命中的策略id
proto:協議類型
servie:服務類型
sercetiy:安全等級
src:源地址
src_int:源接口
tpye:日誌類型
基本上有這些東西就可以分析策略日誌了
然後我們點開一個信息
就可以看到信息具體類容，基本上就是一條防火牆策略信息，很詳細
然後我們可以把搜索的結果保存，方便下次直接使用
同時可以把搜索的結果放到儀表盤中
除了可以搜索以外，還可以配置字段統計，比如統計源地址排行，策略排行等
比如配置策略數量排行，就可以看到哪些策略被引用的最多
配置generate chart(通用圖標），可以查看一定時間內的字段信息的數量和保存的空間大小，可以添加到儀表盤
配置Quick values，可以統計一定數量，圖形,默認餅圖統計，可以添加到儀表盤
字段統計，統計該字段出現的數量，最大值，最小值等，可以添加到儀表盤
最後一個world map，需要配置地理信息擴展，顯示字段在地理區域出現的頻率，這次用不上
好了來看看儀表盤，配置好了後，可以直接展現
基本上就能滿足日常運維需要了
5、思考與擴展
1、graylog支持流式計算和告警，就是說支持實時的講收集到數據按照一定的規則進行過濾，然後按照配置的告警規則進行告警，但是我沒配置成功過，看來需要去學大數據相關知識
2、graylog的搜索語法太簡單了，而且不準，感覺就是簡單的正則匹配，比起splunk還有其他專門自帶搜索語法的日誌軟件，差太遠了
3、防火牆的日誌量十分巨大，基本上發送量高峯是每秒1500條信息，ipos峯值30，帶寬峯值30MBps要佔用5G左右的存儲空間。我的graylog幾次差點掛了，IO承受不住，實際生產使用，不要用虛擬機化，也可以考慮分佈式多節點部署，分攤壓力
4、簡單測試了存儲壓力，1000條數據美妙，數據寫入大小，4-8kB較多，64-512kB其次，70%左右的隨機寫IO，平均IO寫延遲100ms,對存儲的要求還是有的
5、cpu和內存壓力，16g內存平均佔用99.5%,2路4核8vcpu長期佔用88.5%，此時graylog明顯搜索和反應緩慢
graylog的優勢就是開源，簡單，開箱易用，使用內容包，幾乎可以收集分析任何類型的數據
但是對於 防火牆日誌收集，還是得有專門硬件比較好