問題描述
支付清結算系統"外部對賬"部分任務在早上6:00~7:00時間段內對賬速度緩慢,且經常造成對賬統計結果不準確問題,導致結轉記賬不準確。
初步分析及處理過程
由於外部對賬是經過性能優化的,且在壓測環境表現良好,所以最開始初步認爲是由於數據庫性能瓶頸導致,初步處理方式爲將線上6:00~7:00之前的慢SQL進行了一番排查,並對涉及外部系統的慢SQL進行了優化,這個步驟理論上是可以解決此類問題,但RDS(阿里雲Mysql可能存在慢SQL統計不準確問題)。
特點時間段內線程棧分析
特定時間段線程棧分析,由於SQL優化部分並沒有解決此類問題,爲了查看在早上6:00~7:00這個時間段內程序JVM內部到底發生了什麼,所以採取了定時抓取線程棧日誌的手段(具體方式爲在Linux服務器添加cron任務,並累計輸出日誌的方式,腳本如