通向ES的高速公路

一、背景

隨着互聯網的發展和Elasticsearch(以下簡稱ES)技術的成熟,越來越多的企業、政府單位將產生或者獲得大量的數據,用ES進行全文搜索和分析。

維基百科使用Elasticsearch來進行全文搜索並高亮顯示關鍵詞,以及提供search-as-you-type、did-you-mean等搜索建議功能。

英國衛報使用Elasticsearch來處理訪客日誌,以便能將公衆對不同文章的反應實時地反饋給各位編輯。

StackOverflow將全文搜索與地理位置和相關信息進行結合,以提供more-like-this相關問題的展現。

GitHub使用Elasticsearch來檢索超過1300億行代碼。

Goldman Sachs每天使用它來處理5TB數據的索引,還有很多投行使用它來分析股票市場的變動。

……

伴隨上述大數據而來的是數據分析,企業和政府單位都會通過分析數據(數據經營、探索、分析)獲得分析結果,並把分析結果大量的運用企業的產品營銷或者政府決策上面。而kibana插件在其中起了重要的作用。kibana是一個爲 ElasticSearch 提供的數據分析的 Web 接口,可對數據進行高效的搜索、可視化、分析等各種操作,形象地展示數據的變化趨勢和分佈統計情況。

雖然有了上述的種種優點,但ElasticSearch的安全性與易用性仍飽受爭議。從有鑑於此,我們開發出了ESQL工具,用以降低應用程序和用戶使用ES難度,爲用戶提供SQL接口與訪問控制能力。一方面,通過ESQL的防護實現客戶端與ES集羣的安全隔離。另一方面,ESQL工具可以簡化使用,可快速在ES上現實高級檢索、複雜邏輯運算、安全控制等功能。而kibana的發展受限於ElasticSearch,無法提供用戶自助式的服務。即將出爐的FEA3版本推出了KA自助分析插件(以下簡稱KA),讓FEA和ES結合的更加緊密無間,更加適應FEA的一站式敏捷分析。我的數據我做主,讓數據分析不再難懂!


二、KA的優勢

1、所有data無需記憶,所有數據信息一目瞭然

不僅顯示了表格數據,還可通過圖表展示該數據統計信息。

2、分析自助,不懂SQL也能進行數據分析

只需鼠標輕點幾下,即可完成數據分析。例如會自動排列出重複出現次數最多的前5個字段的值,鼠標點擊該區域即可顯示出所有包含該字段內容的數據。

3、比傳統SQL強大

可以根據時間序列、IP範圍、地址等字段來進行數據聚合

看不清楚,那就再放大一點

以時序字段insert_stamp_string爲例,按天設置間隔選擇day,讓我們來看一下統計的結果

怎麼樣,是不是很easy,對時序數據的處理,就是鼠標輕輕一點這麼簡單。

化繁爲簡之後,使得數據分析的門檻大大降低,應用場景也越加豐富。看到上面的折線圖,有沒有想到股市裏的K線圖。沒錯,股市也是KA自助分析適用的一大場景,你可以根據不同的時序自由調整進行數據統計分析。而按照IP範圍或者地址等字段的分析應用,對網絡安全的態勢感知、地域分佈的數據統計分析等場景來說正是恰到好處。

當然,享受該種便利也是有前提條件的,數據必須是按照ES標準格式構建的。

4、KA與FEA完美結合,方便對數據進行深入的分析處理

同kibana一樣,KA本身不支持機器學習、更多的圖表展現。將KA與FEA結合之後,能夠將數據加載到DF表做更加複雜更加深入的分析運算,支持的圖表也更加豐富多樣。


將ES數據添加到DF表

將分析數據存儲到數據庫或者數據文件,確保數據不丟失。

將ES數據存儲到ssdb數據庫

FEA前進一小步,分析師方便一大步!趕快來參與體驗吧,你就是那個數據分析專家!

發佈了73 篇原創文章 · 獲贊 17 · 訪問量 13萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章