首屆 Kylin Data Summit 上，全球知名 IT 研究諮詢公司 Gartner 研究總監 Julian Sun 帶來了一場關於數據分析領域相關趨勢的演講。
Julian Sun介紹了十大趨勢，我們整理了關鍵的幾個趨勢的內容。Gartner 發佈的這十大趨勢是最近3-5年企業可以應用的技術，而非十年以外的技術趨勢。這些趨勢之間的關係是相緊密相連，互相能夠加強，而且都反映了三個主題：智能、新興和拓展。
-
智能
企業用戶都在面臨着一些前所未有的變化，這些變化有的來自技術，有的來自於業務。傳統數據方式可能沒有辦法在滿足日益變化的數據分析形勢，所以我們要藉助機器學習幫助我們以更低門檻做更深度分析。 -
新興
由於機器學習跟AI介入，數據可能不再自上而下放一層不變地展現在用戶面前，更多根據用戶的行爲，通過元數據形成更復雜的一種數據框架以更新興模式呈現到用戶，是一個更動態的形式。 -
拓展
作爲一個數據分析平臺，更多需要考慮的是，這個平臺是否有足夠拓展性和延展性，可以將高階分析普惠到所有人。
趨勢1：增強分析
增強分析是一種新興數據分析方式，藉助了機器學習跟AI，讓我們用戶可以更低門檻去將這個數據分析呈現出來。
過去，大家認爲數據分析是一個結果，我們看了一些儀表盤，看了一些報告覺得自己做數據分析了，其實不然，數據分析是一個創新過程，需要用戶高度融合纔可以產生新一輪結果。
增強分析可以在哪些環節幫助企業做數據分析呢？
-
在準備數據階段，增強分析可以爲我們推薦一些業務剛好能用，剛剛夠的數據源，而不是雜亂無章的數據源，同時可以幫助用戶理解別的用戶，自己同一組用戶平時用的哪些數據。
-
在業務發現的時候，增強分析又可以幫助我們做一些自動建模，模型管理、代碼生成，從而使用戶可以去用一些更高階功能。
-
在分享的時候可以通過增強分析給我們帶來一些自動的業務發現，而不是讓我在很多的儀表盤，很多報告當中一個個摸索。這也是爲什麼增強分析不僅是 Gartner 今年數據分析十大趨勢，同時也是 Gartner 今年十大戰略趨勢，整體 IT 十大戰略趨勢之一。
爲什麼企業裏面要用增強分析呢？
企業要分析的數據越來越複雜，探索的結構越來越複雜，業務用戶希望通過自己自服務形式做分析，他們的問題沒辦法用普通數據方式傳達的，所以用了增強分析，可以給他一種全新數據分析方式；同時增強分析還有一個很大作用，可以讓我們做數據分析、學習的時間大大降低，可以真正普惠所有的業務用戶，而不是讓數據分析只停留在企業當中的少部分人。
同時大家可以想象一下我們現在做數據分析的模式，無非是一種可視化形式，拖拉拽形式做數據分析，很有可能會造成另外一種孤島。我們常常說數據孤島，做分析也一樣，很可能產生分析孤島，導致我們做的數據分析和業務脫節。這個時候用增強分析可以把這樣的增強分析模式放到業務情景當中，提供最契合業務的真知。
舉一個簡單例子：美國有一家銀行，他在沒有使增強分析以前，他用了一個常規思路探索他們的客戶，他們對客戶做了一個畫像，覺得自己作爲一個銀行可以把理財產品賣給年紀較大的用戶，一些55歲-65歲的用戶，這種固有思維一直存在於他們的數據模型當中，久而久之他們就發現丟失了很多客戶，於是他們用了增強分析模式並列了所有可能，最後發現真正願意買他們理財產品的話，雖然他們錢不多，他們是25-35歲的用戶，歡迎大家諮詢Gartner報告，瞭解更多增強分析案例。
趨勢2：商用人工智能機器學習會取代開源佔據市場主流
這個趨勢可能與大家的普遍認知會有一些衝突。通過Gartner一些研究發現大多數的模型儘管有在被寫，有被用，但只是創造出來而已，並沒有放到運營和生產環境，也沒有真正普惠到所有業務人員。
我們看到了像谷歌，亞馬遜，微軟，他們其實都在和很多的開源架構進行結合，我們預測到了2022年這些廠商會佔到數據科學平臺20%的份額。同時，這些平臺也一點點地演進自己，可以幫助我們提供更好一些生產環境特色，比如說數據的血緣分析、模型的複用、管理等，這些都是企業級用戶非常擅長，而不是開源平臺開發的初衷。
與此同時，這些平臺還能給我們帶來非常多益處，比如說我們要做我們的AI普惠性，作爲開源平臺實際上很少會想到這個工具，我們怎麼樣給到業務人員用，但是通過我們商用平臺，可以搭建一個比較好環境，讓我們的業務用戶使用。同時我們可以看見，真正能夠用到這些開源平臺，用到這些算法，其實是需要很高技能要求，並不是所有人都可以實現這點，所以說這一點我們會發現，那些數據科學家其實是非常花錢，商用平臺可以有一個更低的門檻讓用戶使用。
每個企業都在想怎麼做數據化轉型，這個過程是非常漫長的，需要18個月到3年時間纔可能去實現，這個時候該怎麼辦呢？我們是不是看到開源市場不停有創新，不停有開源包出來呢，沒錯，但是通過一些開源包，通過一些開源結構完成一個長期的計劃，實際是很難摸索的。我們通過跟商用平臺合作可以明確知道這些商用平臺未來的發佈計劃怎麼樣，這樣能夠更好地幫助我們結合企業的開發和發展。同時我們也會發現現在越來越多商用平臺在把自己已經訓練好的模型、算法直接放到平臺銷售，作爲用戶可以更簡單地，直接購買這樣的算法，還有模型，模型將會更成爲一種商品的形式被大家使用。
未來算法將會很容易獲得，不需要自己再去訓練，但是比較困難的點是什麼呢？是數據。我們怎樣才能擁有一套可信的數據，去清洗它，訓練它，使用它呢？這將涉及到下一個比較重要的趨勢：數據管理相關的趨勢。
趨勢3：Data Fabric
Data Fabric一個比較大的框架，這個詞我們姑且稱之爲數據編織。數據編織是一個概念，不是一個產品， 它並不是一個自上而下，以一個非常嚴苛固定的形式給到用戶的數據結構。它更多是基於企業用戶行爲，自動建立起元數據之後一個新興數據結構，它是動態變化的。
數據編織這個概念在 Gartner 的數據管理組經常被討論，每當討論到這個概念，就同時會提到數據虛擬化，以及如何去平衡？要麼把數據從 A 移到 B ，B 移到 C，或者把數據全部連在一起，用虛擬化形式實現，這個平衡在企業裏是非常難實現的，所以我們需要一個數據編織形式去管理這樣的平衡，並不是所有的數據結構。
同時我們也會看到這樣的一種新興數據結構涵蓋了很多東西，有數據湖，數據庫，分佈式的存儲關係還有傳統的數據庫等。在這裏元數據驅動了一切，我們希望花更多時間瞭解用戶行爲，搭建這樣一個更靈活的數據編織。
從 usecase 角度看我們可以看見無論是數據倉庫，分佈式流程，多樣式的數據來源都會以更新的形式、更符合業務訴求的形式，混合所有的數據存儲的porfolio，而不是單純用單一技術，所以我會看見更多的廠商去做 datahub 的產品用來編織所有的數據。這樣的形式也能夠更方便符合現在不停變化的業務訴求。用更靈活的數據編織形式，我們建立一個統一的數據框架，管理所有數據。
那在這個背後支撐我們是什麼呢？真正幫助我們做到一個非常好的管理應用是什麼呢？這將涉及到下一個重點趨勢，今天大會最大的主題：增強數據管理。
趨勢4：數據增強管理
“增強”這個詞，我們希望把數據分析背後機器學習和人工智能的能力，它真正體現在幫助用戶上，而不是取代用戶。增強型數據管理涵蓋數據管理方方面面，元數據管理，數據庫管理，還有數據整合，數據質量都涵蓋在內，它並不是一個單純的數據管理範式。它可以有效地依賴我們企業裏用戶的行爲，我們元數據的學習，去自動地生成行爲數據。
過去，我們是非常被動做這樣的數據管理的。當我們我們做數據質量管理的時候，把所有數據拉出來，看數據有哪些異同點和趨勢，這個是非常消耗時間；同樣做數據庫管理的時候，我們要做優化數據庫，建立索引，刪除索引，建立一個分區，刪除一個分區，這可能是用戶爲我們提出的需求，DBA 需要花費特別大量的時間。
由“增強”技術帶來的減少的任務量是爲了幫助我們而不是爲了取代任何人，“增強”是爲了使我們的工作更容易、更創新，更主動。
在進行數據運維時，很多時候是用到元數據的，但元數據的生成和學習是需要花時間的。應用到機器學習、AI技術，我們希望最終能實現的是，看見數據，學習用戶行爲，創造元數據，整合數據管理工具 ， 創建數據質量規則，最後在數據上建立 Scheme，讓數據真正被業務用戶使用，這將是一個完整的“增強型數據管理”希望實現的效果。
增強型數據管理涵蓋面更廣，用一個自動駕駛的例子來說，自動駕駛並不是爲了學習這個車怎麼開，更多是爲了學習外部路況、環境，道面交通擁堵狀況，這是我們初衷。跟增強型數據管理也一樣，我們更希望從用戶行爲，從元數據當中獲取真知，去創造元數據，幫助我們更好做數據管理，涵蓋數據質量管理，主數據管理，數據集成，數據庫管理，元數據管理方方面面。
今天圍繞着“增強型分析”給大家帶來了這樣一些總結和分析，雲是在這張圖背後的，這些趨勢緊密相連。這些趨勢固然都很好，但是大家不要盲目地順從某些趨勢，作爲企業管理者，更應該看到業務中痛點和欠缺的地方，查找整個系統中欠缺的部分，再運用這些技術。我們這些趨勢是最近三五年發現的，可以幫助我們企業快速應用，但是這個順序和重點依舊取決於你們企業自身業務重點。
演講嘉賓：
Julian Sun （孫鑫）先生在Gartner擔任研究總監，負責商業智能及數據科學領域。他主要建議數據分析領導者架構，部署並演化現代化商業智能平臺。其主要研究方向集中在可以幫助業務用戶提升數據分析能力的新興分析技術，由AI驅動的增強型分析，數據分析最大化業務價值的方法及簡化企業員工使用數據科學流程的最佳實踐。他同時對管理企業級分析平臺的技術架構有所研究。