100w條數據如何插入

今天去一家公司面試,我應該如何插入100w條數據,我說一說我的想法吧,首先我拿到這100w條數據,想到的是,不可能一次插入吧,如果一次插入,如果有一條數據出問題了,前面的數據不都白插入了了嗎?(默認會打開事務),那這個時候,除了一次性插入,我想到的就是分批次插入,那麼如何分批次插入呢?我想到兩種,
第一種是,對每一個批次我都要求開一個獨立的事務,如果數據遇到問題後,那麼本次事務的批次失敗,回滾,其餘正常執行的批次,繼續執行,各個批次之間沒有任何的影響,那麼這樣就可以保證絕大多數數據插入成功,最後我們再來處理有問題的批次。
第二種是,有一部分和第一種一樣,對每個批次開一個事務,然後在第一種的基礎上加一個允許錯誤的發生個數的伐值,那麼當達到這個伐值後,我會回滾掉所有的事務,不管是成功的還是失敗的,爲什麼會這樣做呢,我的想法是,如果錯誤過多,我認爲這份數據或者當前網絡條件不適合做插入的操作,需要停止下來排查,等條件合適了,再去做這個插入的操作。
以上是我的想法,不知道大家是怎麼想的,或者說,大家有沒有更好的想法,希望大家說說自己的看法,多溝通,多交流,多進步

發佈了44 篇原創文章 · 獲贊 4 · 訪問量 4萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章