Cannot cast INT32 into a NullType(spark從mogo抽取數據)

mogo原生數據

 用spark取抽取過來之後老是報這個錯誤Cannot cast INT32 into a NullType類型轉換異常

閱讀官方文檔:

mogo爲非關係型數據庫,相同的字段會存不同的類型的值,

sampleSize這個參數在抽取的時候會默認取1000個樣本,null的數據到達一定數量以後就會將原來的int轉爲null,從而出現以上錯誤,(具體是多少數量未知),

問題解決:

將sampleSize設爲20000,樣本數量足夠大的時候,int的值達到一定數量,抽取時就會將null轉爲int還是integer,就有很大可能不會出現以上錯誤,

隨取樣的差異,任務任然存在失敗的風險。。。。。

有遇到相同問題的老鐵,可以留言交流

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章