轉載請註明，作者：石秀峯，公衆號：learning-bigdata（談數據）
導讀：提到“標準”二字，我們第一時間能夠想到的就是一系列的標準化文檔，例如：產品設計標準、生產標準、質量檢驗標準、庫房管理標準、安全環保標準、物流配送標準等，這些標準有國際標準、國家標準、行業標準、企業標準等。而我們所說的數據標準卻不單單是指與數據相關的標準文件，數據標準是一個從業務、技術、管理三方面達成一致的規範化體系。
數據標準是什麼？
數據標準化是指研究、制定和推廣應用統一的數據分類分級、記錄格式及轉換、編碼等技術標準的過程。——維基百科。
筆者理解：數據標準是一套由管理制度、管控流程、技術工具共同組成的體系，是通過這套體系的推廣，應用統一的數據定義、數據分類、記錄格式和轉換、編碼等實現數據的標準化。
企業數據標準管理的內容
1、數據模型標準，即元數據的標準化。自己從事IT行業10多年，一路走來，曾經做開發的時候一度認爲數據模型沒什麼，只不過就是表結構、存儲過程的設計，後來接觸了數據集成ETL、ESB，雖然也知道ETL腳本本身也是元模型的一部分，但對其重要程度也沒放在心上。
後來慢慢發現之前的想法還過於簡單，如果把企業信息化比作是人體的話，數據模型就是其骨架，數據之間的關係和流向是其血管和脈絡，數據是其血液，數據模型的標準化是其數據血液能夠正常流動和運行的根本。數據模型標準是元數據管理的主要內容，是企業數據治理的基礎。請參考《數據治理系列2：元數據管理—企業數據治理的基礎》
2、主數據和參照數據標準。主數據是用來描述企業核心業務實體的數據，比如客戶、供應商、員工、產品、物料等；它是具有高業務價值的、可以在企業內跨越各個業務部門被重複使用的數據，被譽爲企業的“黃金數據”。參考數據是用於將其他數據進行分類或目錄整編的數據，是規定數據元的域值範圍。參照數據一般是有國標可以參照的，固定不變的，或者是用於企業內部數據分類的，基本固定不變的數據。個人認爲主數據與參照數據的標準化是企業數據標準化的核心。請參考《主數據管理實施四部曲概論》
3、指標數據標準。指標數據是在實體數據基礎之上，增加了統計維度、計算方式、分析規則等信息加工後的數據。指標數據標準是對企業業務指標所涉及的指標項的統一定義和管理。企業的財務、銷售、採購、生產、質量、售後等各業務域均分佈都有其相應的業務指標。這些指標不僅需要在業務系統中統計和展現還需要在數據分析系統中展現，有的指標數據需要多個從不同的業務系統中進行獲取。
沒有指標數據標準化，你可以想象在每次數據平臺有新分析主題構建或舊的分析主題變革，都需要從所涉及的各個系統、庫表中進行分析和定義，需要耗費的成本巨大。同時，目前大數據分析都提倡業務人員的自助化分析，沒有指標數據標準，業務人員要從不同系統中拿到自己想要的數據進行分析幾乎是不可能的。
企業數據標準的梳理
企業數據標準項目的實施，要根據業界經驗和企業實際情況確定實施範圍，並根據優先級和難易度制定計劃。需要從企業業務域、業務活動、對象實體、實體關係等方面層層遞進，逐步展開。對於數據梳理的方法主要用到IRP（企業信息資源規劃）和數據倉庫的數據梳理法。這兩種方式我在《主數據管理實施四部曲概論》的文章進行過分享，有興趣可以關注。
企業數據標準梳理一般需要以下步驟：
首先，對企業業務域進行定義，並對每個業務域中的業務活動進行梳理，同時需要收集各類業務單據、用戶視圖，梳理每個單據和用戶視圖的數據對象。
其次，針對數據對象的進行分析，明確每個數據實體所包含的數據項，同時，梳理並確定出該業務域中所涉及的數據指標和指標項。分析並定義每個數據實體或指標的數據項標準，包括：數據項的名稱、編碼、類型、長度、業務含義、數據來源、質量規則、安全級別、域值範圍、管理部門等。
第三，梳理和明確所有數據實體、數據指標的關聯關係，並對數據之間的關係進行標準化定義。數據關係也是數據標準管理的內容。
第四，通過以上梳理、分析和定義，確定出主數據標準管理的範圍。
數據標準梳理和建設的方法並不難掌握，關鍵是建設過程中需要收集並整理大量的業務規範、制度章程、法律法規、監管規定、國家標準，並將這些規定具象到數據標準定義的信息項中。對於一個從未做過數據標準的實施團隊而言，這將意味着巨大的工作量。
數據標準管理組織
數據標準管理是企業數據治理的一部分，數據標準管理是一個涉及範圍廣、業務複雜、數據繁雜的工程。數據標準管理的實施絕非是一個部門的事情，不能在企業的單一部門得到解決。需要從整個組織考慮，建立專業的數據治理組織體系，制定企業數據戰略和實施路線圖，明確各階段數據標準工作的目標和內容，並監督及考覈數據標準的貫徹與執行。
數據標準管理組織或數據治理組織從職能劃分上可以分爲三層，如下圖所示：
1、數據標準管理委員會，即數據治理的決策層，主要負責制定企業數據戰略、把控數據治理的總體策略，審查數據標準的貫徹執行情況。
2、數據標準管理辦公室，是數據治理的經營管理層，主要負責企業數據標準的制定、審查數據質量，貫徹數據標準落地。
3、數據標準執行層或業務操作層，主要負責數據標準的貫徹執行，併爲數據標準的編制和優化提供數據和意見。
數據標準設計流程
數據標準的設計從需求發起到落地執行，一般需要經過標準編制、標準審查、標準發佈、標準貫徹四個階段：
1. 數據標準編制：數據標準管理辦公室根據數據需求開展數據標準的編制工作，確定數據數據項，數據標準管理執行組根據所需數據項提供數據屬性信息，例如：數據項的名稱、編碼、類型、長度、業務含義、數據來源、質量規則、安全級別、域值範圍等。數據標準管理辦公室參照國際、國家或行業標準對這些數據項進行標準化定義並提交審覈。注：如沒有參考標準，則數據標準管理辦公室可根據企業情況制定相應的企業級數據標準。
2. 數據標準審查：數據標準管理委員會對數據標準初稿進行審查，判斷數據標準是否符合企業的應用和管理需求，是否符合企業數據戰略要求。如數據標準審查不通過，則有數據標準管理辦公室進行修訂，直到滿足企業數據標準的發佈要求。
3. 數據標準發佈：數據標準審查通過後，由數據標準管理辦公室面向全公司進行數據標準的發佈。該過程數據標準管理執行組需要配合進行數據標準發佈對現有應用系統、數據模型的影響評估，並做好相應的應對策略。
4. 數據標準貫徹：把已定義的數據標準與業務系統、應用和服務進行映射，標明標準和現狀的關係以及可能影響到的應用。該過程中，對於企業新建的系統應當直接應用定義好的數據標準，對於舊系統應對一般建議建了相應的數據映射關係，進行數據轉換，逐步進行數據標準的落地。
企業進行數據標準化時，除了對數據本身標準化規則構建外，相當大一部分需要考慮標準化流程的管理。而在管理過程中必然會涉及到新舊系統、不同部門、不同業務的衝突，這些衝突如果解決不好將會直接導致標準化的失敗。所以，數據標準落地過程要充分做好影響評估和各干係方的溝通。
數據標準管理價值總結：
一個數據一般有業務屬性、技術屬性和管理屬性組成，例如：數據項的業務定義、業務規則、質量規則爲該數據的業務屬性；數據項的名稱、編碼、類型、長度等爲該數據的技術屬性；數據的存儲位置、管理部門、管理人員爲該數據的管理屬性。而數據標準管理的過程就是對數據以及數據的屬性信息的標準化定義和應用的過程。
數據標準目標是爲業務、技術和管理提供服務和支持。
業務方面：通過對實體數據的標準化定義，解決數據不一致、不完整、不準確等問題，消除數據的二義性，使得數據在企業有一個全局的定義，減少了各部門、各系統的溝通成本，提升企業業務處理的效率；標準統一的數據指標體系，讓業務人員也能夠輕鬆獲取數據，並能夠自助式的進行數據分析，爲基於數據的業務創新提供可能。
技術方面：統一、標準的數據及數據結構是企業信息共享的基礎；標準的數據模型和標準數據元爲新建系統提供支撐，提升應用系統的開發實施效率；數據標準化清晰定義數據質量規則、數據的來源和去向、校驗規則，提升數據質量。
管理方面：通過數據的標準化定義，明確數據的責任主體，爲數據安全、數據質量提供保障；統一、標準的數據指標體系爲各主題的數據分析提供支持，提升數據處理和分析效率，提供業務指標的事前提示、事中預警、事後提醒，實現數據驅動管理，讓領導能夠第一時間獲取決策信息。
數據標準與主數據、元數據、數據質量的關係
數據治理項目的根本訴求在於提升數據質量
數據標準與主數據的關係
從範圍上看，數據標準包括數據模型標準、主數據標準、參照數據標準、數據指標標準和其他數據元標準，主數據是數據標準的一個子集；從數據梳理和識別、能力成熟度評估、數據標準編制、數據管理和應用、管理體系建設、實施涉及的業務面等方面，數據標準和主數據都是基本相同的。企業在數據治理項目中，有整體建設的，包含了：元數據、主數據、數據標準等領域；也有分開建設的，例如：主數據項目單獨立項，數據標準管理和數據倉庫放在一起實施；企業應根據自身的實際情況和需求，明確實施範圍和內容，制定適合企業發展需要的數據治理路線圖。
數據標準與元數據的關係
元數據是數據標準的基礎，企業在制定數據標準的時候最先需要明確的就是數據業務屬性、技術屬性和管理屬性，而這三類屬性就是我們所說的業務元數據、技術元數據和管理元數據。基於元數據的數據標準管理，爲業務實體的定義、關係和業務規則到IT實現之間提供清晰、標準的語義轉換，提高業務和IT之間的一致性，保障IT系統能夠真實反映業務事實。併爲數據標準系統與其他業務系統的集成，提供有關數據標準、數據映射關係和數據規則的描述，爲業務系統的集成提供支撐。
數據標準與數據質量的關係
沒有標準化就沒有信息化，那就更談不上數據質量了。通過對數據標準的統一定義，明確數據的歸口部門和責任主體，爲企業的數據質量和數據安全提供了一個基礎的保障。通過對數據實體、數據關係以及數據處理階段，定義統一的標準、數據映射關係和數據質量規則，使得數據的質量校驗有據可依，有法可循，爲企業數據質量的提升和優化提供支持。
（文：石秀峯 2019年5月）
注：本文的首發平臺爲微信公衆號：learning-bigdata（談數據），如需要了解第一手數據治理相關內容，請關注微信公衆號，CSDN微博不定期更新。
歡迎轉載，轉載請註明，作者：石秀峯，公衆號：learning-bigdata（談數據）