配置Hive on Spark

需求場景

對hive進行記錄數統計以及獲取ddl語句均需通過spark engine，配置Hive on Spark予以支持。

工作流程

1. 添加spark服務；
2. 配置需要使用spark的hive：Spark On YARN Service選項選擇已創建的spark服務並保存；
3. 配置完成後順序執行如下操作關閉hive、spark服務，重啓YARN服務，然後啓動spark，hive服務
4. 客戶端使用需先執行spark引擎設置語句：set hive.execution.engine=spark

操作步驟

安裝spark service

1. 登錄Cloudera Manager 如：http://172.16.50.21:7180/
   

8.  

   配置hive

10. 重啓服務

驗證配置

1. 通過ssh登錄hive節點服務器，進入hive終端

2. 設置engine：set hive.execution.engine=spark

3. 執行相應sql,正確得到結果，如：select count(*) from table;

參考資料

cdh官方配置hive on spark：https://www.cloudera.com/documentation/enterprise/5-10-x/topics/admin_hos_oview.html#concept_i22_l1h_1v

cdh添加service：https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_mc_add_service.html#cmug_topic_5_1