Logstash是具有實時流水線功能的開源數據收集引擎。Logstash可以動態統一來自不同來源的數據，並將數據規範化爲您選擇的目標。清除所有數據並使其民主化，以用於各種高級下游分析和可視化用例。
雖然Logstash最初推動了日誌收集方面的創新，但其功能遠遠超出了該用例。任何類型的事件都可以通過各種各樣的輸入，過濾器和輸出插件來豐富和轉換，許多本機編解碼器進一步簡化了提取過程。
一 logstash的數據內容
1.1 日誌和指標數據
-
處理所有類型的日誌數據
- 輕鬆獲取大量Web日誌（如Apache）和應用程序日誌（如log4j for Java）
- 捕獲許多其他日誌格式，例如syslog，網絡和防火牆日誌等
- 通過Filebeat享受補充的安全日誌轉發功能
- 通過TCP和UDP從Ganglia，collectd， NetFlow，JMX以及許多其他基礎結構和應用程序平臺收集度量
1.2 網絡數據
-
將HTTP請求轉換爲事件
- 從Twitter之類的網絡服務中消費，以進行社會情感分析
- Webhook對GitHub，HipChat，JIRA和無數其他應用程序的支持
- 啓用許多Watcher警報用例
-
通過按需輪詢HTTP端點來創建事件
- 從Web應用程序界面通用捕獲運行狀況，性能，指標和其他類型的數據
- 非常適合優先選擇輪詢控制而不是接收的方案
1.3 數據存儲和流
- 使用JDBC接口可以更好地瞭解來自任何關係數據庫或NoSQL存儲的 數據
- 統一來自Apache Kafka， RabbitMQ和Amazon SQS等消息隊列的各種數據流
1.4 傳感器和物聯網
- 在這個技術進步的時代，龐大的物聯網世界通過捕獲和利用來自連接傳感器的數據來釋放無盡的用例。
- Logstash是常見事件收集主幹，用於提取從移動設備傳送到智能家居，聯網車輛，醫療保健傳感器和許多其他特定於行業的應用程序的數據。
1.5 處理轉換數據
- Grok是Logstash過濾器的基礎，廣泛用於從非結構化數據中導出結構。享受多種旨在幫助快速解決Web，系統，網絡和其他類型事件格式的集成模式。
- 通過從IP地址解密地理座標，標準化 日期複雜性，簡化鍵值對和 CSV數據，對敏感信息進行指紋識別（匿名化），以及通過本地查找或Elasticsearch 查詢進一步豐富數據，來擴展您的視野。
- 編解碼器通常用於簡化對常見事件結構（如JSON 和多行事件）的處理。
二 用途
集中、轉換和存儲數據
Logstash 是開源的服務器端數據處理管道，能夠同時從多個來源採集數據，轉換數據，然後將數據發送到“存儲庫”中。
2.1 輸入、過濾器和輸出
Logstash 能夠動態地採集、轉換和傳輸數據，不受格式或複雜度的影響。利用 Grok 從非結構化數據中派生出結構，從 IP 地址解碼出地理座標，匿名化或排除敏感字段，並簡化整體處理過程。
輸入
採集各種樣式、大小和來源的數據
數據往往以各種各樣的形式，或分散或集中地存在於很多系統中。 Logstash 支持 各種輸入選擇 ，可以在同一時間從衆多常用來源捕捉事件。能夠以連續的流式傳輸方式，輕鬆地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據。
過濾器：實時轉換數據
數據從源傳輸到存儲庫的過程中，Logstash 過濾器能夠解析各個事件，識別已命名的字段以構建結構，並將它們轉換成通用格式，以便更輕鬆、更快速地分析和實現商業價值。
- 利用 Grok 從非結構化數據中派生出結構
- 從 IP 地址破譯出地理座標
- 將 PII 數據匿名化，完全排除敏感字段
- 簡化整體處理，不受數據源、格式或架構的影響
輸出：選擇存儲庫導出數據
儘管 Elasticsearch 是我們的首選輸出方向，能夠爲我們的搜索和分析帶來無限可能，但它並非唯一選擇。
Logstash 提供衆多輸出選擇，您可以將數據發送到您要指定的地方，並且能夠靈活地解鎖衆多下游用例。
同時擁有非常豐富的插件，進行擴展功能
2.2 構建可信的交付管道
假如 Logstash 節點發生故障，Logstash 會通過持久化隊列來保證至少將運行中的事件送達一次。那些未被正常處理的消息會被送往死信隊列 (dead letter queue) 以便做進一步處理。由於具備了這種吸收吞吐量的能力，現在您無需採用額外的隊列層，Logstash 就能平穩度過高峯期。此外，我們還能讓您充分確保自己採集管道的安全性。
Logstash 模塊通過熱門的數據源（如 ArcSight 和 Netflow ）呈現瞬間可視化的體驗。通過立即部署採集管道和複雜的儀表板，您在短短幾分鐘內便可開始數據探索。
全方位監察
Logstash 管道通常服務於多種用途，會變得非常複雜，因此充分了解管道性能、可用性和瓶頸異常重要。藉助監測和管道查看器功能，您可以輕鬆觀察和研究處於活動狀態的 Logstash 節點或整個部署。
