9月底，由 Kyligence 主辦的金融科技沙龍在北京順利召開。這次沙龍的主題是“新一代大數據架構升級”，Kyligence 特別邀請了企業代表中國建設銀行、大地保險的技術負責人到場分享大數據建設之路。三十多家銀行、保險、券商的技術和管理人員出席了此次會議。
Kyligence 自2016年成立以來，有幸服務國內多個領先金融機構，招商銀行、建設銀行、銀聯、國泰君安、華泰證券、太平洋保險、大地保險等行業標杆。作爲業內的廠商，在服務這些標杆企業的過程中，我們觀察到的未來架構將是什麼？
以下內容節選自 Kyligence 北區及交付中心負責人周濤的現場演講。
企業數據分析架構進化
早期，各行業的數據分析架構普遍以數據集市爲主。從2000年初，國內開始興起數倉的建設，尤其是金融行業。
到了2010年，大數據潮流開始風靡，數據湖的概念逐漸興起。國內的絕大部分行業特別是金融行業，都走到了混搭平臺的階段：既有基於傳統數據庫或者 MPP 做的數倉，同時也搭建了基於 Hadoop 技術框架的大數據平臺。但各個金融企業由於歷史背景、技術路線不一樣，數倉和大數據兩個平臺分別的定位以及它們之間的差別和關係也都不一樣。
企業數據分析下一代架構是什麼？
雖然數據驅動、數字化轉型、數據中臺等概念甚囂塵上，但業內對於下一代數據架構還沒有形成一個標準答案。Kyligence 作爲國內大數據領導廠商，在持續服務重量級金融客戶的同時，也在和我們客戶一起，結合他們的現狀和不同需求，探索下一代企業數據分析架構的各種形態和解決方案。
比如國內券商領導者國泰君安，一直以來都沒有建設集中的數據倉庫，數據也分散在各種類型的數據庫中，但各類數據分析需求卻層出不窮、非常旺盛，什麼樣的加工能夠快速、標準化、服務化的滿足業務部門的各類數據查詢和分析需求，如何能夠將傳統交易數據和用戶行爲數據相結合提供融合的數據查詢能力，挖掘客戶價值、賦能精準營銷？
比如作爲國內零售銀行的標杆，招商銀行無論是在傳統數倉平臺，還是在大數據平臺，都進行了巨大的技術投入和海量的數據存儲，但以報表爲主的數據分析方式，斷然是難以快速響應和滿足各業務部門、分支行機構多樣化、碎片化的數據分析需求的，什麼樣的架構才能調和多年遺留的各類系統、混搭的技術架構，以一種更優雅的方式滿足打通數據煙囪、統一數據服務、保護歷史投資等需求？
又比如以開放的科技服務公司爲目標進行戰略轉型的中國銀聯，以往的數據架構和技術平臺都以某外商傳統的數倉/BI產品爲主，技術架構過時，技術能力不可控，如何才能在實現自主可控的基礎上，既能保障原有的分析應用平滑過渡，保持業務的連貫性，又能同時支持戰略轉型過程中的業務創新和科技輸出需求？
下一代架構趨勢
Kyligence 通過和衆多重量級金融客戶一起探索和實踐，認爲下一代大數據架構及解決方案雖然形態可能各不相同，但都至少需要具備以下三大能力：
第一“數據分析民主化”。所謂民主化就是能夠把數據分析的能力釋放給一線業務人員，甚至是釋放給企業的外部合作伙伴和客戶。大數據時代的顯著特徵（相對於數倉時代），除了以Hadoop爲代表的分佈式架構和技術組件的快速發展，還有一個很重要的特徵，就是所有人，從企業到個人，從管理層到一線員工，都開始重視數據，渴望數據，期望能夠通過數據來輔助自己的日常工作和生活。
但數據民主化並不是IT 部門簡單粗暴的把數據給到業務用戶就算實現民主了，這裏需要考慮什麼樣的數據使用方式是這些用戶能夠接受的，系統能不能支撐數據用戶暴漲後帶來的高併發壓力，怎麼在不同類型的用戶之間做到合理的數據安全管理等多方面問題。
第二，數據服務自助化。目前金融企業的數據服務主要都是依靠堆人來實現的，但隨着民主化趨勢的深化和數據需求的爆發，必然導致人手緊缺、工作負荷激增，Kyligence認爲當前大數據的主要矛盾是指數級的數據需求和極其緊缺的數據人才之間的矛盾，也一直以實現大數據分析的自助化、智能化，釋放大數據生產力爲己任。
第三，數據資產的融合化。這跟原本做數倉的驅動有點類似，做數倉是爲了實現企業內部業務數據的集成和融合，形成運營管理、客戶營銷的全局視圖，但隨着移動互聯網、IoT、5G技術的快速發展，企業面對的局面是數據來源越來越多，把所有數據集成到一個平臺的思路越來越難以實現，需要我們從數據架構、從服務定位的角度去進行思考和探索。
在這樣的數字化轉型趨勢下，Kyligence 能爲企業客戶帶來怎樣的解決方案呢？
1）一站式數據賦能
數據分析經過多年的發展，各種應用方式已經有着非常成熟的定義和場景，但多年以來BI最後都成了做報表，很多所謂的大數據分析最後也僅僅是做個大屏（更漂亮的報表）。多維分析、自助分析、靈活查詢這些需求受制於數據量、算力、分析粒度等因素，最後都被扼殺在需求討論階段。比如說某金融企業的業務部門，一直希望能夠對自己的商戶進行自助分析以進行深度的商戶洞察和業務創新。當需求提交給 IT 後，面對千萬級的商戶分析粒度和上百個分析維度，IT 一籌莫展，幾經交涉後最後提交的方案是“Top100的商戶指標報表”。
Kyligence 一直在“數據民主化”這個方向上不遺餘力的進行創新，通過一站式平臺提供固定報表/儀表盤、聚合分析、明細查詢、靈活查詢等各種分析場景，以滿足各類分析用戶的訴求。同時，爲了更好的應對金融企業的內部IT環境，降低數據分析的技術門檻，Kyligence產品不但打通了跟業內各種主流BI工具的連通性和兼容性，更是和目前使用最廣、衆多表哥表姐最喜歡的分析工具——Excel進行了連通和對接，業務人員通過Excel就可以直接進行大數據分析，不用任何的學習成本。
另外，Kyligence 產品從開始設計的第一天起，就把 API 作爲標準的對外接口，不僅僅是數據查詢、數據導出，所有的功能（設計、開發、調度、管理）都可以通過API接口來進行調用，可以很容易的集成到企業的整體IT架構裏，也可以很順暢的融入到目前以微服務爲主流的數據共享方式，配合金融企業進行“開放銀行”、“API 經濟”等業務創新和戰略轉型。
2）智能建模及優化
有了數據民主化的能力，再結合大家熟知的Kyligence產品最核心的高性能（亞秒級）交互式分析能力，是不是就可以做好數據服務了？如果只是一次性工作，也許是可以的。
但大家都知道，數據服務不是個一蹴而就的事，相反，這是個持續週期很長的工作。就好比想要賽車跑的快，各種配置優化和參數調校必不可少，但隨着賽道路況、車手習慣的改變，並沒有包打天下的配置模式，需要持續不斷的進行調整和優化，並且需要具備專業技術和豐富經驗的專家才能做好。這種自然規律同樣在Kyligence早期產品上得到了印證，上手和使用很容易，但要持續用好卻又有一定的技術門檻。
增強分析近年來成爲大數據分析的主流發展方向，期望通過AI技術和算法來降低數據分析複雜度。
Kyligence 依託客戶羣體的不斷擴大和各種應用場景的深度使用，我們得以不斷積累客戶的使用場景和優化經驗。在 Kyligence 最新發布的 4.0 版本里，我們把這種經驗積累轉換爲算法並結合AI技術內置在產品裏，通過把分析人員作爲產品的用戶，在他們使用產品的過程中不斷積累他們的使用場景（SQL）、使用習慣（頻次）、用戶體驗（響應時間）並且結合產品特徵（數據），支持智能的建模和優化，達到透明的分析加速和運維優化，可以極大的降低數據服務人員在開發過程中的技術門檻和工作量，從而實現數據服務自主化和智能化的目標。這就好比智能汽車，能夠通過傳感器數據採集、用戶行爲收集等方式來實現自動駕駛。
3）融合新舊數據資產
前面已經提到過，隨着數據源的快速增加，用戶行爲、日誌等流式數據的價值凸顯，期望通過傳統數據集成方式在存儲端來打通數據、融合數據的難度越來越大，並且實現週期也越來越長。而 Kyligence 一直致力於通過對接不同數據源，同時支持流式數據和批量數據等技術創新，在分析端進行數據融合，以更爲敏捷、成本更低、見效更快的方式支持金融企業對新老數據資產進行融合分析的需求。
結語
前面我們談到了數據架構的演變歷史，以及不同類型金融企業的數據分析架構發展趨勢。Kyligence 公司作爲技術立身的大數據廠商，經過這幾年的快速發展和迭代，並且有幸在衆多大型金融企業接受了惡劣環境、複雜生態的錘鍊和鍛造，已經打造出適應市場需要的成熟產品和解決方案。
但水無常勢，我們不願去斷言下一代大數據架構一定是什麼樣的。在業務轉型不斷深化、新技術層出不窮的今天，無論是大數據架構、產品以及解決方案都是需要不斷適應趨勢進行迭代和演化的。並且，產品和方案難免都會有缺陷，重要的不是完美，而是快速響應、修復問題、靠近完美的速度和能力。
Kyligence 作爲國內大數據領導廠商，在和客戶一起實踐和成長的過程中，除了產品本身，更重要的是形成了高效、完善的產品研發和管理體系，積累了強大的研發實力、快速響應能力和衆多最佳實踐。使我們能夠、也有信心賦能金融企業做好數據驅動、科技賦能的戰略轉型，在大數據時代的每一天都能用專業的產品和服務幫助企業走好數字化轉型的每一小步。