1、 Error:java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CALLBACK_HOST
如果剛安裝pyspark環境,運行測試程序時,彈出這個錯誤,很有可能是你安裝軟件的版本不匹配導致的。
例如:
Java : jdk1.7
scala : 2.10
hadoop: 2.6
spark: spark-1.6.0-bin-hadoop2.6
pyspark:2.2.1
當我使用pyspark版本爲2.4.3時,就會彈出上述錯誤。
2、TypeError: ‘JavaPackage’ object is not callable
參考:
pyspark–報錯java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CALLBACK_HOST解決