一、背景
隨着互聯網的發展和Elasticsearch(以下簡稱ES)技術的成熟,越來越多的企業、政府單位將產生或者獲得大量的數據,用ES進行全文搜索和分析。
維基百科使用Elasticsearch來進行全文搜索並高亮顯示關鍵詞,以及提供search-as-you-type、did-you-mean等搜索建議功能。
英國衛報使用Elasticsearch來處理訪客日誌,以便能將公衆對不同文章的反應實時地反饋給各位編輯。
StackOverflow將全文搜索與地理位置和相關信息進行結合,以提供more-like-this相關問題的展現。
GitHub使用Elasticsearch來檢索超過1300億行代碼。
Goldman Sachs每天使用它來處理5TB數據的索引,還有很多投行使用它來分析股票市場的變動。
……
伴隨上述大數據而來的是數據分析,企業和政府單位都會通過分析數據(數據經營、探索、分析)獲得分析結果,並把分析結果大量的運用企業的產品營銷或者政府決策上面。而kibana插件在其中起了重要的作用。kibana是一個爲 ElasticSearch 提供的數據分析的 Web 接口,可對數據進行高效的搜索、可視化、分析等各種操作,形象地展示數據的變化趨勢和分佈統計情況。
雖然有了上述的種種優點,但ElasticSearch的安全性與易用性仍飽受爭議。從有鑑於此,我們開發出了ESQL工具,用以降低應用程序和用戶使用ES難度,爲用戶提供SQL接口與訪問控制能力。一方面,通過ESQL的防護實現客戶端與ES集羣的安全隔離。另一方面,ESQL工具可以簡化使用,可快速在ES上現實高級檢索、複雜邏輯運算、安全控制等功能。而kibana的發展受限於ElasticSearch,無法提供用戶自助式的服務。即將出爐的FEA3版本推出了KA自助分析插件(以下簡稱KA),讓FEA和ES結合的更加緊密無間,更加適應FEA的一站式敏捷分析。我的數據我做主,讓數據分析不再難懂!
二、KA的優勢
1、所有data無需記憶,所有數據信息一目瞭然
不僅顯示了表格數據,還可通過圖表展示該數據統計信息。
2、分析自助,不懂SQL也能進行數據分析
只需鼠標輕點幾下,即可完成數據分析。例如會自動排列出重複出現次數最多的前5個字段的值,鼠標點擊該區域即可顯示出所有包含該字段內容的數據。
3、比傳統SQL強大
可以根據時間序列、IP範圍、地址等字段來進行數據聚合
看不清楚,那就再放大一點
以時序字段insert_stamp_string爲例,按天設置間隔選擇day,讓我們來看一下統計的結果
怎麼樣,是不是很easy,對時序數據的處理,就是鼠標輕輕一點這麼簡單。
化繁爲簡之後,使得數據分析的門檻大大降低,應用場景也越加豐富。看到上面的折線圖,有沒有想到股市裏的K線圖。沒錯,股市也是KA自助分析適用的一大場景,你可以根據不同的時序自由調整進行數據統計分析。而按照IP範圍或者地址等字段的分析應用,對網絡安全的態勢感知、地域分佈的數據統計分析等場景來說正是恰到好處。
當然,享受該種便利也是有前提條件的,數據必須是按照ES標準格式構建的。
4、KA與FEA完美結合,方便對數據進行深入的分析處理
同kibana一樣,KA本身不支持機器學習、更多的圖表展現。將KA與FEA結合之後,能夠將數據加載到DF表做更加複雜更加深入的分析運算,支持的圖表也更加豐富多樣。
將ES數據添加到DF表
將分析數據存儲到數據庫或者數據文件,確保數據不丟失。
將ES數據存儲到ssdb數據庫
FEA前進一小步,分析師方便一大步!趕快來參與體驗吧,你就是那個數據分析專家!