關於大數據量或者存儲過程或者業務邏輯過於複雜的解決方案

1.大數據量的清洗

存儲過程和定時任務對大數據量的清洗,過程過於複雜涉及到的中間變量過多,計算和統計過多,導致整個過程執行時間過長。
所以通過數據準備,通過一箇中間表來抽取過程中的中間變量和邏輯變量,預先抽取一些數據,減輕整個數據清洗過程的壓力。
這些存儲過程一定考慮到執行的效率問題,索引的使用;儘量避免在where條件裏使用函數,有一些條件能抽取到中間表中,儘量抽取出來。
1.1)數據準備
1.2)中間表
1.3)任務分解表

2.執行過程的監控

在大型執行過程中,要有一個可視化的監控,能夠監控執行的效率,執行的狀態,執行的開始/結束時間,執行的結果…
日誌表,在軟件設計的過程都必須考慮的過程執行的日誌。

3.事件模型

自動化的執行涉及到觸發問題,一般都需要事件觸發的起點,怎麼觸發事件的執行?
3.1)定時任務
3.2)job
3.3)前臺手動觸發執行

發佈了62 篇原創文章 · 獲贊 8 · 訪問量 2萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章