一、需求場景分析
在實際的數據平臺運營管理過程中,數據表的規模往往隨着更多業務數據的接入以及數據應用的建設而逐漸增長到非常大的規模,數據管理人員往往希望能夠利用元數據的分析來更好地掌握不同數據表的血緣關係,從而分析出數據的上下游依賴關係。
本文將介紹如何去根據MaxCompute InformationSchema中作業ID的輸入輸出表來分析出某張表的血緣關係。
二、方案設計思路
MaxCompute Information_Schema提供了訪問表的作業明細數據tasks_history,該表中有作業ID、input_tables、output_tables字段記錄表的上下游依賴關係。根據這三個字段統計分析出表的血緣關係
1、根據某1天的作業歷史,通過獲取tasks_history表裏的input_tables、output_tables
基於MaxCompute InformationSchema進行血緣關係分析
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
數據湖 VS 數據倉庫之爭?阿里提出大數據架構新概念:湖倉一體
雲棲號資訊小哥
2020-10-15 15:34:46
【數據湖開發治理篇】——數據湖開發治理平臺DataWorks
雲棲號資訊小哥
2020-09-28 14:28:49
多引擎集成挖掘湖上數據價值
雲棲號資訊小哥
2020-09-24 16:28:50
什麼是物聯網?常見IoT 物聯網協議最全講解
雲棲號資訊小哥
2020-10-19 14:43:50
Serverless Spark的彈性利器 - EMR Shuffle Service
雲棲號資訊小哥
2020-09-28 14:28:49
數據湖構建服務搭配Delta Lake玩轉CDC實時入湖
雲棲號資訊小哥
2020-09-27 14:01:53
阿里推出「阿里雲網盤」App,爲網盤發展提供更強勁推動力
雲棲號資訊小編
2020-09-26 15:04:50
用盡每一寸GPU,阿里雲cGPU容器技術白皮書重磅發佈!
雲棲號資訊小哥
2020-09-21 16:55:50
go-Channel
原創
2024-03-24 00:10:06
阿里雲 MaxCompute 2021-1 月刊
晉恆
2021-03-22 19:11:15
阿里雲 MaxCompute 2020-12 月刊
晉恆
2021-01-05 14:43:48
阿里雲 MaxCompute 2020-11 月刊
晉恆
2020-12-03 09:55:49
阿里雲 MaxCompute 2020-10 月刊
晉恆
2020-11-09 12:19:53
淺談MaxCompute資源規劃管理及評估
雲棲號資訊小哥
2020-10-16 14:22:51