1.大數據量的清洗
存儲過程和定時任務對大數據量的清洗,過程過於複雜涉及到的中間變量過多,計算和統計過多,導致整個過程執行時間過長。
所以通過數據準備,通過一箇中間表來抽取過程中的中間變量和邏輯變量,預先抽取一些數據,減輕整個數據清洗過程的壓力。
這些存儲過程一定考慮到執行的效率問題,索引的使用;儘量避免在where條件裏使用函數,有一些條件能抽取到中間表中,儘量抽取出來。
1.1)數據準備
1.2)中間表
1.3)任務分解表
2.執行過程的監控
在大型執行過程中,要有一個可視化的監控,能夠監控執行的效率,執行的狀態,執行的開始/結束時間,執行的結果…
日誌表,在軟件設計的過程都必須考慮的過程執行的日誌。
3.事件模型
自動化的執行涉及到觸發問題,一般都需要事件觸發的起點,怎麼觸發事件的執行?
3.1)定時任務
3.2)job
3.3)前臺手動觸發執行