mogo原生數據
用spark取抽取過來之後老是報這個錯誤Cannot cast INT32 into a NullType類型轉換異常
閱讀官方文檔:
mogo爲非關係型數據庫,相同的字段會存不同的類型的值,
sampleSize這個參數在抽取的時候會默認取1000個樣本,null的數據到達一定數量以後就會將原來的int轉爲null,從而出現以上錯誤,(具體是多少數量未知),
問題解決:
將sampleSize設爲20000,樣本數量足夠大的時候,int的值達到一定數量,抽取時就會將null轉爲int還是integer,就有很大可能不會出現以上錯誤,
隨取樣的差異,任務任然存在失敗的風險。。。。。
有遇到相同問題的老鐵,可以留言交流