基於MaxCompute InformationSchema進行冷門表熱門表訪問分析

一、需求場景分析
在實際的數據平臺運營管理過程中,數據表的規模往往隨着更多業務數據的接入以及數據應用的建設而逐漸增長到非常大的規模,數據管理人員往往希望能夠利用元數據的分析來更好地掌握不同數據表的使用情況,從而優化數據模型。
一個MaxCompute項目中經常使用的表簡稱爲熱門表,使用次數較少或者很長時間不使用的表簡稱爲冷門表,本文將介紹如何去通過MaxCompute元數據信息去分析熱門表和冷門表。
二、方案設計思路
MaxCompute Information_Schema提供了項目中全量的表元數據信息Tables以及包含訪問表的作業明細數據tasks_history,通過彙總各個表被作業訪問的次數可以獲知不同表被作業使用的頻度。
詳細步驟如下:
1、熱門數據通過獲取tasks_history表裏的input_tables字段的詳細信息,然

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章