探討數據倉庫與商業智能需求與需求分析

2006年9月23日,由希賽網承辦的2006中國軟件工程大會暨系統分析員年會在湖南長沙正式召開。以下是與會專家張峯嶺《探討數據倉庫與商業智能需求與需求分析》主題演講具體內容。

  各位朋友,我是一名來自從事商業智能項目開發的一名一線技術工作者,我曾在這個領域從事過從程序員,系統分析員到項目經理多種崗位,從2002年開始,我親身經歷了多個不同規模的數據倉庫與商業智能項目,經歷了甲方和乙方的角色變換,我試圖以一個一線bi從業者的體會,爲衆多朋友描繪出這個充滿了激情與失落的bi需求的最直白的面目,以及結合自己的經驗,試圖從bi的本質觀點(如何創造價值)出發,探討"什麼bi需求是有效的,怎麼做有效的bi需求"這兩個做bi需求不可迴避,卻又容易被淡忘的問題。並提出和闡述我認爲做bi需求應該與發展企業價值鏈相結合思考的觀點。

  bi界內,有一句幾乎每個bi實施人員都備感到無奈,卻又不得不承認的話,客戶真正的需求往往是從項目投產那一刻才真正開始,彷彿bi項目天生就註定是一場的吃力不討好的惡夢,。

  在決定bi實施成敗與效果中,需求無疑是雷區最多的地方。對於bi項目而言,需求是個讓人又愛又恨的怪圈。幾乎所有bi項目都誕生自bi銷售人員所描繪出的華麗前景,以及由此所激發出來的充滿理想色彩和浪漫情懷的客戶需求,是一個美妙的夢中情人;而在bi界衆多周知的是,bi的需求又是一個最折磨人,最讓人心力交瘁的頑皮孩子。

  那麼,究竟商業智能是一樣什麼樣的東西呢,商業智能的需求爲什麼同時具備了可愛和可恨兩種自相矛盾的特質呢,讓我們先從認識商業智能開始。

  第一章回 商業智能的來龍去脈

  傳統以來,計算機一直被俗稱之爲電腦,把計算機和智能劃上了等號,然而,我相信在坐有計算機常識的人都明白,除了科學幻想外,我們日常實際工作和生活中使用的計算機其實是個傻瓜,他只會毫不變通地執行的預定的程序,所以如果說計算機有智能,程序是智能的核心,再進一步說,所謂的智能的核心就是用程序來演義的邏輯, 在這種以程序爲核心的體系下,數據充其量只是程序的一個附屬,如果用遊客進公園的大門比喻成一套非常簡單的程序系統,公園的大門和配套的驗票人員是程序,數據是門票,用過一次就扔了,最多拿個廢紙籮裝起來,一般也不會再有什麼作用了,這就是過往在林林總總的政府和企業的計算機系統中數據所遭受的普遍下場了。

  


  圖1-1 企業信息化建設的三個階段

  附圖描述信息化發展規律,從60年代計算機逐漸普及以來,計算機的應用領域無論在深度和廣度都有了質的拓展,而從總體的應用水平來說,可以劃分爲以下三個階段(如圖1-1):這三個階段與不是用單純的技術高低來劃分的,而是從應用的影響層面來劃分。

  第一個階段是基礎信息化階段,這個階段從應用面來說,主要是解決數據處理電子化的問題,在這一階段,機構內往往是一些數據處理工作量最大的部門首先採用了信息技術把手工數據工作電子化,如財務系統,計算機輔助設計系統,電子數據交換系統等等,實現了信息處理的電子自動化無論在人力投入和紙張損耗等方面無疑節約產生了具大的效益,可惜這些信息的關聯面是非常有限的,甚至可以說離開了這些系統的主要用戶,別人是看不懂這些數據的,而這些用戶在企業中往往是少數的專業人士。

  第二階段是企業級信息化階段,這一階段政府機構與企業往往已經擁有了幾個分別建設的業務處理系統,機構期望從總體角度建設高度集中的、或互相聯接的綜合業務管理系統,如mis,erp,oa等等,這個階段的應用核心是通過實施一個企業級的應用系統實現企業的業務流程或者管理流程的信息流暢,以此來提高企業的運作效率,以實現流程的自動化。

  第三階段是目前的近幾年剛起步的發展趨勢,應該說也是現在很多企業完成了第二階段的信息化建設後,所面臨的下一步信息化該怎麼走的問題,由於還沒成爲歷史,所以我這裏大膽提出我的定義,我認爲,這個階段應該是企業的戰略價值信息化階段,因爲這個階段的根本目標,是實現整個企業的系統思考(systems thinkings)能力,這個階段的應用層面,應該說已經***到從企業管理到企業文化的方方面面,當然,這個階段的形成與產生絕對是離不開前兩個階段所打下的信息化堅實的基礎,本身這三個階段也是承前啓後,不可分割的,而我認爲第三階段對於企業發展更有深遠的發展意義,我把企業形象地比喻一個人的話,第一階段是針對手指的自動化,第二階段是針對耳朵的自動化,第三階段是針對大腦的自動化。

  第三階段正是商業智能走上歷史舞臺並且成爲主角的時代,也是企業求生存求發展不得不走向商業智能的歷史選擇,這個選擇的根源,我認爲,不是技術的進步,當然不可否認,技術的進步創造了物質上的條件,然而從因果關係的動因角度來做說,企業選擇商業智能的根本原因,是市場競爭的必然。

  這樣,我們不得不偏離一下主題,稍微看看現在市場的競爭給企業帶來的壓力,隨着市場競爭的日益激烈,目前營銷競爭方式已經從一個大衆化營銷階段進入了一個差異化營銷階段,進而上升到一個價值鏈整合營銷階段,競爭從拼生產能力到拼服務能力,最終必然上升到拼決策能力,現在的企業一把手可能比歷史上任何一個時期的皇帝還要難當,一則是現在企業內部組織機構的複雜性肯定超過100年前的封建帝國,生產環節,銷售環節,財務環節,人力環節方方面面,缺一不可,協調一個企業的正常運作已經越來越需要精確化的管理,壓縮管理成本已經是任何一位企業領導人都需要認真對待的問題,二則企業的外部環境瞬息萬變,拜高度商業化所賜,市場的潮流和態勢可能已經達到了一月或者數月一變的程度,一個判斷的失誤可能就會把企業帶入覆滅的境地,在這種內外壓力的夾攻中,一個領導的個人決策能力是不可能不達到人的極限,這個時候,企業的信息系統能做什麼,當一個領導要了解能反映企業運行狀態的一些重要的信息的時候,我們目前的企業的信息系統能迅速給出一個答案嗎?

  很遺憾,不能,也很幸運,就是因爲不能,纔有我今天這個報告的主題。
第二章回 什麼是商業智能

  越來越多企業已經認識到,數據是資產的重要組成部分,以前,企業可能把過期的數據看成是過期門票,隨意拋棄,而當企業的領導要做出一個準確有力的決策的時候,終於發現,沒有數據啊! 很多人說,不對啊,企業不是已經在計算機設備和軟件上投入了大量的資金,做了很多業務系統了嗎,不是有很多數據嗎? 爲什麼不能用呢,這個問題問得實在是太好了,我相信每個人都在問這個簡單而其實是最深刻的問題,爲什麼我們的數據不能用!

  過去數年裏,幾乎每一個企業都建立了自己的信息中心,收集和整理了大量的數據,但是這些數據又帶來了始料不及的新問題,就是數量之大種類之浩瀚繁雜遠遠超過了可以控制和理解的範圍,數據庫變成了“數據監獄”,數據一進去就十有八九成了“囚犯”,而數據一旦過時,要麼就被束之高閣,無情地被判了無期徒刑,要麼就象碎成紙片的機要文件一樣被銷燬了。怎麼讓這些“數據囚犯”變成有價值的決策依據,進而成爲有價值的生產要素,這就是商業智能的目的所在。

  實際上,給商業智能一個完整的定義是很難的,但是,從商業智能的產生根源的角度而言,可以概括爲:商業智能是用來實現數據向信息轉變,信息向知識轉變,知識向價值轉變的這麼一個過程,以及這個過程中所使用到的種種技術和工具。

  由於商業智能是圍繞着數據來做文章的,數據倉庫也可以說是商業智能的核心環節,很多情況下,習慣性地,由於兩者有如此密切的關係,所以在很多項目命名時,往往是把數據倉庫和商業智能相提並論,有時這會給人一種很混淆的感覺。一般來說,上面所描述的是一個廣義上的商業智能概念,在這個概念層面上,數據倉庫是其中非常重要的組成部分,數據倉庫從概念上更多地側重在對各項企業各類信息的整合工作,包括了數據的遷移,數據的組織和存儲,數據的管理與維護這些我們平常稱之爲後臺的基礎性的數據準備工作,與之對應,俠義的商業智能概念則側重在對數據的查詢,報表、多維/聯機數據分析、數據挖掘和數據可視化工具這些平常稱之爲所謂前臺的數據應用方面。

  第三章回 商業智能的需求

  前面我很羅嗦地交代了商業智能的來龍去脈,我希望讓各位知道的是,商業智能需求天生就註定了是不好弄的,爲什麼,一句話可以概括,因爲這是腦子工程,是一把手的工程!決策,其本身就是一個很個性化的事情,每個人的思維方式和思維習慣千差萬別,加上性格偏向和個人喜好等因素,好與不好本身就是個價值判斷,不是一個是非分明的邏輯判斷。說穿了,商業智能的需求就不可能有什麼標準的模式,因爲即使從人工智能的理論角度,現在也還沒有一個方法可以完全地模擬人腦的運做,所以對商業智能需求的定義和控制過程事實上就變成了對人腦的控制過程,如果需求是做到一把手的頭上的,想控制一把手的想法可不是鬧着玩的。

  關於商業智能的需求,業界和用戶就存在兩種觀點之爭,爲了說明兩種觀點,我把商業智能四個字拆開成“商業”和“智能”兩對,前者是商業觀點,後者是智能觀點。這也反映了商業智能需求驅動力的一個發展和變遷,從商業智能形成產業到目前,商業智能需求的主要驅動出現了三次變遷。

  首先是技術驅動,最開始只是覺得它是先進的技術,很多企業開始購買了很多這些產品,積極的通過技術的方法驅動這個技術在企業裏面的應用。譬如引入查詢與報表工具,多維分析工具來改些原來業務系統的報表以及開發一些分析型的應用。

  到後來我們稱之爲業務驅動,現在特別是金融行業,還有政府行業,他們的數據量非常大,基於數據的分析和研判實際上在日常業務流程的戰術層次也有很大的一個應用的價值。前在很多行業裏面,它的基本從業人員的素質已經非常專業化,比如說特別在金融行業裏面,從業人員的素質非常高,因此他很多時候他的決策是在戰術層面決定的,比如銀行的客戶經理負責信貸業務的話,很多時候是他客戶經理就要決策,給這個客戶相應的信貸的政策是什麼樣的,基本定製適合這個客戶服務的套餐。面對這樣一個情況,實際上我們看到很多時候是業務的一種驅動,滿足一線業務人員每天做很多戰術上決策的需要。

  再到後來是管理驅動,由於管理信息面的廣度要求,就要開始建數據倉庫整合數據了,大家可能覺得他是爲管理服務的,但是我們認爲在中國早期的bi建設當中,它沒有真正起到這個作用,僅僅是給管理者提供了一些基本的報表而已。爲什麼會提到管理驅動呢,我剛纔已經提到了現在的企業老總所面對的內外夾攻的雙重壓力,在這個情況之下,我們看到的是企業真正的意識到了這種管理的重要性,特別是現在金融企業,它面臨很多管理上的改革,比如說中國的金融行業在這兩年改革最多的地方,就是我們的信貸風險的管理,還有我們的相應的一些引進一些先進的成本覈算的機制,還有績效考覈的機制,這些都是真正對管理從內在的改變。進而它反過來就會驅動數據倉庫技術的應用。我們看到在以前,比如說我們做數據倉庫的時候,我們會在中國的很多企業裏面,認爲它是一個可有可無的系統,只是說這個報表我早一點拿到,晚一點拿到而已,但是今天我們看到在銀行裏面所有的員工,他每個季度的獎金怎麼發,都是數據倉庫來支撐的績效考覈系統來實現的。
第四章回 商業智能的需求分析

  從這個變遷,迴應剛纔的我對商業智能的分拆,我們看到了一個很明顯的趨勢,就是目前商業智能需求的重點逐漸從“智能”轉向“商業”,同時也因爲這種我們和我們的客戶對商業智能的理解的變遷,直接地影響了商業智能的需求形態,也必然對商業智能需求分析工作者提出了與時俱進,不斷調整和修改需求分析方法的要求。

  在技術驅動的時代,商業智能的需求分析更多地是側重在bi工具的應用,例如用報表工具來實現一些管理性的報表,用olap來實現一些經常性的數據統計與分析,用etl工具來替代手工編寫代碼方式的數據遷移。這個階段的需求分析過程有非常明顯的技術傾向性,這種項目往往有個前提,就是目標技術平臺往往在項目啓動之初已經敲定,需求分析師首先要非常瞭解目標技術平臺的各項技術指標,並且非常小心地把目標用戶的需求引導並且框定在這個目標技術平臺的能力範圍之內,這個邏輯是很自然的,也是無可厚非的。

  在業務驅動的時代,需求分析師首先需要非常熟悉目標用戶的日常業務,商業智能系統比傳統業務系統相比,需求的把握與定義是非常困難的,傳統業務系統的流程是非常清晰的,類似銀行業務的核心業務系統,諸如儲蓄業務,對公業務,國際業務即使種類很多,而對於落實到具體業務的需求的時候,起碼同一家銀行是有一個標準的業務操作的流程的,不論流程多麼複雜,所對應的需求總是明確的,可見的,用程序化的方式來表達也是簡單的,而且作爲生產系統,早日投產比完善往往是更具價值,在這個大前提是,花繁爲簡,穩定壓倒一切是甲乙雙方都認同的。而作爲以輔助業務中戰術決策的商業智能系統,首先要邁過的一個關口就是,在戰術智慧上,系統的決策水平要起碼高明於一箇中等層次的業務人員的商業智慧,這樣他纔會覺得系統對他是有幫助的,迴應剛纔我所提出的,對商業智能需求的定義和控制過程事實上就變成了對人腦的控制過程,需求分析師如果不是一位該業務領域的專家,所能形成的需求分析結果能一次性地獲得業務人員的真心擁護和認可無疑是天方夜譚,而在目前的bi界中,完全是從業務成長起來的bi需求分析工作人員鳳毛麟角,實際情況往往是,一羣技術功底還不錯,腦子又轉得比較快,能給客戶一個良好形象的技術人員出身的人充當了bi需求分析師的角色,我就是一個非常典型的例子,這些人如果心態正確的話,會抱着一種對業務無知的謙卑感虛心地向自己的客戶請教,並且仗着客戶對技術莫測高深的敬畏,迅速地把需求結果框定爲一個個本來就是客戶手工在做的報表,當然也不排除通過向客戶的需求學習,初步掌握了一些業務上的規律,把客戶的需求提煉成靈活查詢或者多維分析的模型。不幸地,就是這種需求分析方式也造成了我的報告開頭所形成的需求怪圈,可以說,這種不幸的局面是先天性的,在東西沒有實際做出來以前,無論是客戶還是我們的需求分析師,雙方所溝通的都是對方頭腦裏的想象,然後把這種想象用稍微直觀一點的方式描述出來,這種表達的效果不管花了多少的細緻周到的努力,實質上還只是一種紙上談兵,或者俗稱畫餅,餅的模樣是畫出來了,餅的味道是無論如何也畫不出來的,然而時間是不會等人的,工程師們迅速地照餅樣動手施工,力求早日讓客戶吃上稱心可口的美味,然而,交付的時刻往往是令人悲哀的,當用戶第一口咬下去以後,能一口咬定就收貨的用戶幾乎是不可能的,因爲本來就是“學生”做出來的東西,有這樣的結局是不足爲怪的,於是就有接下來的不斷的用戶抱怨,不斷的需求“變更”,不斷的“優化”,不斷的“補丁”,不斷的憂慮和煩惱……

  目前,針對這種情況,一些大公司仗着自己的影響力,組織了一羣技術專家經過多年的類似項目經驗沉澱後,形成了一套所謂的模板,一則讓bi需求分析師對於業務思考模式的學習和理解可以從客戶現場退回到自己的公司內部,避免了露短的尷尬,二則,也試圖用既成事實的行業標準的做法迅速而直接的影響用戶的思維,業界內俗稱,給客戶“洗腦”,然而,針對個別企業的業務所分析出來的模板能推廣,有一個預設前提,就是這種業務在全世界有一個可以普遍使用,而且有同質度非常高的標準成功模式,事實上,每個企業和人一樣,是個性發展的產物,不是標準形成的產物,標準的推行本身就意味着企業的持續變革,這裏也形成了一個悖論,持續的變革是否需要模板也需要持續的調整,然後模板的調整是否又需要持續的變革來配合,…… 本人對模板是認可的,而對模板的可推廣能力是持非常懷疑的態度的。

  在bi領域,這個以優化爲名的迭代幾乎形成了一個沒完沒了的怪圈。這個怪圈的形成,給每一位曾爲商業智能抱有共產主義理想的人冷冷地提了個醒,商業智能不是一個目標,而是一個過程,正如偉大的孫中山先生所囑咐的,革命尚未成功,同志仍需要努力。

  第五章回 商業智能需求的出路

  一直到現在,可能各位覺得我對商業智能所持的是一種悲觀的態度,這幾年,我對商業智能的認識也確實出現了幾次反覆,從崇拜到失望,從激情蓬勃到理性迴歸,最後,我相信,商業智能需求必然走向的是價值驅動, 我相信,商業智能的需求經過多次否定之否定的螺旋式上升發展的過程後,商業智能的應用與企業價值鏈的優化組合是必然的趨勢,只有把商業智能的需求和企業價值鏈的形成與提升結合起來,商業智能的實際價值才能得到真正的體現。

  正如前面的分析,各種內外因素的組合作用,使企業必然信息驅動爲核心的生產和管理方式,在企業利潤形成的整個價值鏈條中,信息使這條價值鏈從模糊逐漸走向清晰,將數據作爲企業戰略資產並且在數據質量方面繼續投資,是使企業成爲行業先鋒的重要保證,運用商業智能的環境來回答諸如客戶價值貢獻度,地區市場差異,資本充足率,商品生命週期,成本與財務預算,定價策略,資金週轉率等與企業利潤的形成密切相關,商業智能把歷史數據從“數據監獄”裏釋放出來,成爲企業的一筆有形的資產。

  說到這裏,已經到了我這次報告的尾聲了,由於時間的限制,很多具體的點我都沒有辦法再深入展開了,我相信,商業智能從“智能”走向“商業”是一條商業智能需求走出困境的必由之路,我作爲一個從事技術工作十二年,從一個很單純的技術人員成長起來的技術人員,憑我自己的良心指出,技術至上的觀點,不但會成爲商業智能發展的桎梏,甚至會成爲扼殺商業智能應用推廣的無形黑手,所以,作爲商業智能項目主導的這些需求分析負責人,首先,就要明確地樹立的是做商業智能是爲客戶賺錢的商業觀念,在和客戶需求形成的過程中,把客戶的需求引導向對客戶有利而同時也對降低自身實施成本,加快投產速度也有利的角度,我從來不認爲做報表和查詢是一種身價的貶低,如果一份“簡單”的報表或一筆“簡單”的查詢能爲客戶一年節省過千萬的成本,避免一筆過千萬的風險損失,一份報表就把客戶對項目的全部投資都收回來了,這筆帳,我們這些技術人員應該學會幫客戶算! 這樣的商業智能項目,難道還會受到客戶的冷遇和拒絕嗎?

  最後,我們每位從事商業智能的業界朋友,有個很簡單的問題我們問過了嗎? 我想以這個問題作爲我這篇報告的總結,請問到底什麼是商業? 我想我的答案很簡單,不過說了也等於什麼都沒有說,我想用這句香港人常說的口頭語來作爲我報告的結語:

  business is business!

0

收藏

編程浪子

17篇文章,12W+人氣,0粉絲

Ctrl+Enter 發佈

發佈

取消

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章