工作心得之接口數據同步

     在開發過程中避免不了調用其他第三方接口,獲取數據或者同步數據,以下是在同步數據到第三接口時踩過的坑和需要注意的一些事,前車之鑑,希望通過這次總結可以避免後續繼續踩坑。

      本次同步數據主要採用resetful接口調用第三方接口把本系統的業務數據同步到第三接口,基本流程如下:

       1、書寫調用第三方接口的工具類,通過該工具類獲取第三方接口的token

       2、書寫同步業務數據接口,把對應的業務數據傳到第三方平臺

       3、把同步的數據和第三方數據返回的對應關係存儲在本地數據庫的關聯關係表。

以上就是本次數據同步的基本流程了,咋一看如此簡單,但是就是如此簡單的流程卻踩了一個又一個的坑,具體踩坑如下:

        1、同步數據沒有打印詳細的日誌文件,導致後期排查錯誤萬分困難

        2、同步數據時沒有考慮數據量的問題,導致在正式環境上,由於數據量過大,第三方接口頻繁調用失敗導致同步數據失敗

        3、同步數據結果的記錄表設計字段不全面,確實同步時間,和業務域標識導致,後期排查數據困難。

        4、沒有考慮實時同步接口的不穩定性,導致部分數據缺失。

        5、同步數據接口封裝不嚴謹,沒有進行深度重構,導致後續業務維護很難。

針對以上的坑,後續要改了N次bug,重構了N次代碼,纔算是填滿了自己挖的坑,總之,如果後續要做數據同步儘量做到以下幾點:

        1、同步數據沒在關鍵的節點要打印詳細的日誌,方便後續排查問題以及維護。

        2、同步數據接口要考慮全面,如果數據量過大,要考慮分批同步數據。

        3、同步數據結果的記錄表設計要全面,儘可能多的記錄同步信息,其中同步時間是必不可少的。

        4、如果有實時同步的業務場景,要充分考慮系統的穩定性和數據的一致性,儘量考慮設計數據補償策略。

        5、同步數據,儘量把數據封裝到實體類中,避免直接操作json字符串,增加後期維護難度。

以上,是我首次同步數據的“血淚史”,希望可以幫助到大家。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章