銀行業如何搭建自服務的數據平臺?

傳統的數據服務模式是業務用業務語言提出需求,科技人員和業務部門就業務語言如何轉換成科技數據口徑進行確認,之後開發報表提供業務測試,測試中常常發現報表實現和業務需求有差距,還要反覆溝通,從業務提出報表需求到最終投產,快則三五天,慢則個把月。

基於以上原因,想通過搭建一套數據平臺,支持快速靈活、交互式、探索性的數據查詢和分析。讓業務人不再依賴、不再等待大量、使用簡單拖拉拽操作就能夠完成日常的數據分析工作。

那麼問題來了,搭建一套基於明細級數據自助查詢平臺,如何規劃技術架構、數據模型,以及BI工具的選型。

這裏提供一個江蘇銀行的大數據平臺案例。

傳統來講,銀行定製一張報表,分析某個業務數據,主要通過業務部門提出需求,科技部門編寫程序來實現。其中的問題,題主也說了,從提出需求到科技部最終開發完報表,中間存在反覆的口徑溝通、試驗取數的過程。一張報表,從考慮排期問題,提出需求,到最終完成快則一兩週,慢則幾個月。

解決這個問題的有效辦法是:

1、把明細寬表他們可理解的數據,給到業務部門,交由業務人員自助探索分析。

2、基礎查詢類報表:來自於基層業務和日常工作,功能作用於某一項具體的工作,比如銷售業績查詢、商品庫存查詢、在途庫存查詢、採購訂單查詢等,形成固定類目的查詢報表,用戶在工作需要時,會通過查詢此類報表,來得到自己想要的數據,以支撐自己的工作。

後者主要還是IT部門負責,前者IT部門可推動去做。這裏着重講講前者。

BI平臺選擇

要解決業務自助取數,自助分析,這裏需要一個BI平臺。那市面上的BI工具FineBI支持快速靈活、交互式、探索性的數據查詢和分析,江蘇銀行也是基於FineBI去開發的。

IT人員和業務人員共同定製好業務可理解的主題包(這裏IT人員直接將數據按業務按主題準備在FineBI的業務包中),可以將數據由業務人員自行設計報表。通過這種方式進行統計分析,在定製數據包的基礎上由業務人員自主查詢數據,所見即所得,在數據查詢、統計的過程中分析,可以大大提高工作效率。搭建這個系統之外,他們還做了一件事,就是在各個業務條線培養具有數據分析挖掘能力的人才,解決日常工作中的數據分析難題。

平臺架構

1、大數據平臺建設:

對於大體量內外部數據的高度自由的實時查詢,需要有可靠的底層數據處理平臺的支撐。從經濟成本和未來數據的非線性增長趨勢的角度分析。設計的架構時,傳統的交易系統運用關係型數據庫處理OLTP事務操作,產生的交易數據通過異構數據的批量複製方式或消息隊列的準實時方式更新至Hadoop平臺,Hadoop平臺可以進行大體量數據的分析和挖掘,並提供基於大數據的應用系統實時檢索的模式。

銀行業如何搭建自服務的數據平臺?

2、數據資源整合:

持續整合核心系統、信貸管理系統、信用卡系統、個貸系統等幾十個業務的交易數據、賬戶數據和客戶基礎數據,建立數據標準和數據治理體系,開發風險數據集市、資產負債管理集市、監管報送集市等多個內部數據集市。行外引入包括監管部門的客戶風險預警信息、人行客戶徵信報告數據、工商總局企業註冊信息數據、企業納稅信息、海關進出口交易數據、法院客戶涉訴信息、失信被執行人信息、環保不達標信息、欠稅信息、工商處罰信息、公民身份證信息、個人學歷學籍信息、公共媒體負面信息等19項外部數據源,幾千項外部數據字段,並運用網絡爬蟲技術和命名實體識別技術,抓取公共網絡媒體輿情信息,形成海量的外部數據集市;

通過在大數據平臺上整合行內與行外數據,線上與線下數據,結構化與非結構化數據,有效解決了傳統銀行普遍面臨的“信息孤島”問題。在數據整合的基礎上,利用智能化大數據分析工具進行各類數據的統計、分析、查詢和建模成爲可能。

3、工具選型:

調研了市場上各類數據挖掘和分析工具,針對不同需求不同數據分析能力的人集成了多種工具提供使用:

  • 數據挖掘和建模人員:提供SAS和分佈式R語言工具,可以使用專業的數據分析工具進行挖據和建模;

  • 具有數據庫操作能力的人員:提供類SQL方式的自定義快速報表開發工具,所有報表設計和菜單控件均通過瀏覽器可視化配置;

  • 對於瞭解業務系統數據的業務人員:提供智能BI多維分析工具FineBI,通過拖拽方式即可實現各類複雜的統計和圖表功能;

  • 對於普通一線員工:可以方便的查詢平臺上已設計好的各類模板,並且可以使用客戶關係圖譜、互聯網輿情分析等可視化查詢工具。

最終效果

1、降低數據挖掘分析的門檻

BI平臺的使用使得數據分析的門檻大爲降低,數據分析工作可以下沉到最基層。不需要了解數據庫,甚至不需要懂太多數理統計的專業知識,只要瞭解業務的人員,都可以根據自己的一個關注點自定義分析和挖掘,並可以分享給其他員工。

2、實現離散式管理

傳統模式的報表開發維護和管理都集中在部分開發和管理人員身上,面對日益增長的數據分析需求,這種模式顯露出響應能力的不足和資源的瓶頸。平臺打破原來總行定製固定報表,分支機構只能查詢的集中式管理模式,變爲了人人都可以是報表開發員的離散式管理模式,實現千人千創意,讓數據發揮最大價值。

3、數據安全和便捷的平衡

提升數據分析便捷性的同時,數據安全問題也是銀行關注的重點。智多星平臺在權限管理中也需做到智能化。

首先,對敏感字段,如客戶名稱、地址、手機等,在定義報表的同時就可實現自動脫敏;

其次,數據權限有報表和機構兩個維度,不同分支機構的用戶,即使獲得了同一張報表的權限,也僅能查看自己機構的數據,避免了數據的任意傳播。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章