原创 當spark的driver-memory運行內存不足時

1、spark thriftserver報以下錯誤,其他諸如hive/sparksql等方式均正常 ERROR ActorSystemImpl: Uncaught fatal error from thread [sparkDri

原创 mysql自定義函數命令解析

DELIMITER // create function selectname(id int) returns varchar(255) BEGIN DECLARE fTime VARCHAR(255) ; s

原创 spark綜合問題

1.什麼是spark? spark是基於內存計算的通用大數據並行計算框架,是一個快速、通用可擴展的大數據分析引擎。它給出了大一統的軟件開發棧,適用於不同場合的分佈式場景,如批處理、迭代算法、交互式查詢、流處理、機器學習和圖計算。

原创 spark知識點

1.什麼是spark? spark是基於內存計算的通用大數據並行計算框架,是一個快速、通用可擴展的大數據分析引擎。它給出了大一統的軟件開發棧,適用於不同場合的分佈式場景,如批處理、迭代算法、交互式查詢、流處理、機器學習和圖計算。