文思海輝賈丕星:大數據時代對傳統數據倉庫的五點思考

在文思海輝金融商業智能解決方案研討會上文思海輝副總裁賈丕星表示,文思海輝的商業智能團隊已經發展到452人的規模,並且隨着國內銀行商業智能領域發展,還在逐步完善解決方案和擴大團隊。

賈丕星指出,現階段銀行商業體系是基石,把數據做有效的存儲,以及好的管理,未來商業智能領域會發展的很好,未來三五年之內這仍然是文思海輝解決方案的核心。

小數據和大數據在銀行業裏更多是互爲補充而不是替代。小數據比較簡單,有比較成熟的技術應對。大數據更多的是理念優先,其一個典型特徵是價值密度較低,這也是大數據帶來的思考。

賈丕星認爲,銀行思考大數據更多的需要考慮你具備什麼條件讓客戶產生的大數據自動的流向銀行。文思海輝在大數據領域仍然保持和合作伙伴廠商緊密接觸。像IBMBMCOracle每一家對大數據的理解其實是有差異的,而且差異非常大。

賈丕星指出了大數據時代針對傳統數據倉庫的思考,其中包括不要因爲大數據擾亂我們的原則、規劃、節奏;技術和平臺已經不是我們關注的重點;原則和架構在以不變應萬變中顯得尤爲重要;正確的方法論、管控的水平決定了質量;引導客戶主動的分析探索是永恆的話題;

以下爲演講實錄:

大家知道文思和海輝是去年年底合併的,從集團研發對我們支持角度來說:第一點祥麟給了我們一個很好的技術規劃體系。第二個是智慧金融這個概念,把所有金融事業羣解決方案有效整合在一起。形成應對未來銀行業務發展很好的體系。從這兩個角度來說,給了整個商業智能部這邊很大的支持。

今天我講的是數據倉庫的概念。我們這個團隊跟大家認識都是從數據倉庫這個角度跟大家相識的。我們這個團隊一直被認爲是業內做商業智能做的比較久,相對來說比較專業的團隊。每年我基本都講第一場,對我來說也是一個很大的挑戰。每年都想講一點我這一年多的新的體會和感受跟大家分享。今天講什麼呢?前段時間我在外面講的更多的是從小數據角度看大數據,大數據現在提的越來越多,小數據從另外一個角度理解它,它種類比較單一但是業務種類並不單一;第二它量比較小,大數據量可以很大。

大數據的年代裏,真正的數據倉庫應該如何規劃建設?我們今年也有自己更多的思考和體會。講這個之前,我還是把團隊的情況給大家做一個簡單回顧。在各位新老客戶支持下,我們商業智能團隊從去年300多人,現在已經發展到452人的規模。我們跟隨着國內銀行商業智能領域發展,在逐步完善我們的解決方案和擴大我們的團隊。我們團隊主要分佈在華東、華北、華南三個區域。跟隨着客戶在成長,我們有越來越多的新的解決方案和原有解決方案的優化在不斷的推出。

我們傳統的優勢就是數據倉庫和數據管控,這兩個方面會放在今天上午跟大家分享。現階段銀行商業智能體系的基石,還是把數據做有效的存儲和更好的管理,這個領域未來三五年之內這仍然是我們解決方案的核心。

團隊爲什麼會有所成長?跟我們自己承接了更多的項目有關。在過去兩年,所有業內資產排名前20位銀行裏,新啓動五個數據倉庫都是由我們團隊承接的。正是有這樣好的項目機會讓你的團隊有成長,解決方案不斷的優化。

我今天既看到了特別支持我們的長期的老客戶,也看到我們未來有合作機會的新客戶。這是我們近期拿下來的國內一個大型股份制銀行的數據架構規劃和數據倉庫規劃諮詢項目。這個項目有很大的挑戰,客戶需要對他們管理信息類的系統進行全面的梳理,我們也對過去5年我們的積累進行總結,這是很好的結合。數據倉庫只靠一個EDW發揮不了太多的作用,更多的是規劃的角度,圍繞從數據的產生、交換、存儲、使用,由數據轉成業務價值的全過程。這個是我們更願意看到的東西。我們不希望大家理解的BI僅僅是一個平臺,存儲了企業裏面有效、無效所有的信息,這個沒意思。有意思是的通過價值體系的打造讓它更好的發揮價值。

說到這點,結合今天題目去談,就是小數據和大數據的概念。我從不覺得大數據是新的有震撼力的東西,但是它確實給我們帶來了轉變。我個人理解它們兩個沒有什麼所謂替代形成,特別是銀行業裏面,更多的是互爲補充。

從另外一個角度來講,小數據比較簡單,有比較成熟的技術應對它。大數據是多種類型數據的組成,需要使用多種技術對待它。比如說圖像、視頻、文檔。每一個識別和監測它的手段和方法是不一樣的。另外大數據更多的是理念優先,它在銀行裏到底能發揮什麼價值?另外大數據我們會說它一個比較典型的特徵,它的價值密度很低。那麼反回來思考,把大量數據存下來再去做統計分析有意義和價值嗎?還是通過實時處理的技術把沒價值的東西篩掉,再利用有價值的做結構化的關聯分析?這就是大數據給我們帶來的思考。

銀行思考大數據,更多的需要考慮你具備什麼條件讓客戶產生的大數據自動的流向銀行?銀行獲取大數據方式可能跟傳統的物聯網行業不太一樣。銀行對待大數據的時候更多的考慮是銀行有什麼類型的大數據?從銀行統計應用角度來說有什麼價值?我們是實施商,我們在大數據領域仍然保持跟我們的合作伙伴廠商的緊密接觸。我們從去年和前年就開始跟我們合作緊密的像IBMBMCOracle的大數據廠商進行緊密的溝通和跟進。我們看怎麼更他們更好的結合去爲銀行提供更好的服務。但是我們發現每家廠商對大數據的解讀其實是有差異的。比如說EMCHAWQ技術路線適合銀行嗎?因爲我們知道HDFS底層數據存儲和關係數據的底層數據有本質的區別。但是它有它的應用場景,比如互聯網和電商類。Teradata的大數據技術路線中重點突出基於MRAster,它可能也只是適合一定的場景。所以讓我們看到一個特點是百花齊放,大家各有各的發展思路。在原有的基礎上在怎麼更好的綁定客戶,每家策略不一樣。但是銀行一定要選擇適合自己的。

銀行大數據在典型應用場景分析有哪些呢,無非就是三種類型:外部互聯網信息、輿情分析;是銀行確實能夠通過各種手段找到外部的一些信息,互聯網的評價、社交媒體和論壇裏面的發言,它關注到銀行或者關注到了銀行客戶。這種信息是一種非嚴謹的獲取方式,也是一種特別嚴謹的決策分析的補充。

銀行自身非結構化數據信息:就是銀行自身有大量非結構化信息體現在網銀和呼叫中心的語音,這些信息是不是大規模的做分析?我建議的方式是嘗試。因爲傳統結構化數據或者分析技術並沒有讓你在業務決策分析裏面發揮到極至。我們一定要做更多的嘗試,引導我們去體驗大數據的場景。銀行自身結構化數據歷史歸檔和查詢訪問。這三個方面是我們跟銀行探討更多的,大數據在銀行的應用場景。

大數據時代針對傳統數據倉庫的思考:首先不要因爲大數據這個詞擾亂了我們的的原則、規劃和節奏。我們要一步步腳踏實地的跟進大數據的技術。

其次傳統的數據倉庫我昨天思考完寫了四句話:

第一,技術和平臺已經不是我們關注的重點。很多新客戶型的時候他會猶豫,其實你有你的判斷,你作爲商務上你有你的所謂投資回報成本的考慮。但是技術上在傳統結構化分析裏面,它的差異性不是很大。那麼做選型的時候是否能夠處理傳統的結構化數據?我相信還是一個重點,但是更大的重點應該放在如何更好的支撐應用和如何跟未來技術走向很好的結合。

第二:變化莫測的世界裏做好架構管理才能以不變應萬變的決策。所以我們更強調合理的原則和架構。這些年廠商提出來做數據倉庫用10大原則、20大原則,原則越多越沒用,原則少有效才能解決真正的問題。

第三,過去十年前做數倉,用一期項目整合300張表,現在可以整合1000張表,就是因爲正確的方法論。一個好的方法論出來,關於開發管控和數據管控水平不斷的提升,才能保證一家銀行商業智能體系的發展。

第四個是引導客戶主動分析和探索,只有通過這個才能改變傳統業務人員分析思路和方法。

這四點是我們在新的數據平臺裏面,大數據時代新的數據倉庫架構裏面需要考慮的四個重點。

架構設計原則:做數據倉庫架構設計過程中,我們更審慎的對待自身的原則,這六句話有它背後的道理,第一個是操作型和分析型處理分離原則。第二個就是做到數據集體程度、整合和共享原則。第三句話,儘量減少大量明晰數據搬遷和處理。第四個後臺批量處理和前端聯機訪問分離原則。第五個是明晰數據使用審慎使用。這個原則很重要。我們在銀行經常遇到很多問題,當業務部門提到一個需求說我要查明細,我們要審慎的對待,合理評估投入產出。最後一個就是做好統一技術平臺。

關於數據倉庫裏面的四層架構:貼源的、主題整合、通用匯總、數據集市。哪個區域用什麼策略我自己做十年了也沒有任何調整。這就是好的架構。

自主開發體系:把數據倉庫實施方法論能夠很好的跟開發工具做結合。這種開發工具的結合,過去兩年,我們實施十幾個數據倉庫平臺裏面發揮了很大的價值。客戶對我們的評價:第一開發的東西可維護,第二質量相對較高,開發效率高。

另外永遠不要把數據倉庫建設和數據管控分開來談。數據倉庫依賴於數據管控,提升數據質量才能更好的服務於應用。這兩個是不分割的,甚至它的業務牽頭部門、主管部門都是一個。

引導業務人員上來主動訪問,這種探索式的推動永遠是你不要放棄的一個話題。它同前期推動來說很難,但是它後期給你銀行整個分析水平的提升帶來的價值非常大。

我們做數據倉庫的,做數據管控的,我們不斷給銀行推要做隨機查詢。我們不斷的強化這三個東西的重要性,但是這三個東西都是前期投入大,後期才能逐步慢慢見效發揮很大價值的地方。國內的工行,之所以它的數倉成爲業界領先典範,就是因爲它堅持走這三條路。

在座的新老客戶,最後再跟大家說一下我們做的工作都是前期投入產出比較不合適的,但是希望大家重視,希望大家從規劃的角度解決好這三個概念的融合

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章