Excel百萬數據導入導出思路

導入:

 第一種方式: POI有 SAX 解析 Excel  一行一行讀取到redis 的隊列中, 然後批量從redis 中 取出來 寫到數據庫中.(批量提交)

 第二種方式: https://github.com/monitorjbl/excel-streaming-reader  stream流式導入,內存中只保留制定的數據量 (經過測試)

 第三種方式:  load data infile 的方式,導入的大數據Excel寫成 load data file的格式, 然後 jdbc 執行 load data file 命令文章:

https://blog.csdn.net/breeze2003/article/details/51372803

 

 

 

導出: 

第一種方式: 百萬數據寫 xml , 命名爲 csv, 百萬數據很快就寫完,不佔用什麼內存,以及 CPU (經過測試)

第二種方式:     SXSSF:從POI3.8 beta3開始支持,基於XSSF,低內存佔用,專門處理大數據量(建議)   值得注意的是SXSSFWorkbook只能寫(導出)不能讀(導入)