大數據環境部署7：SparkSQL配置使用



1、SparkSQL配置

將$HIVE_HOME/conf/hive-site.xml配置文件拷貝到$SPARK_HOME/conf目錄下。 將$HADOOP_HOME/etc/hadoop/hdfs-site.xml配置文件拷貝到$SPARK_HOME/conf目錄下。

2、運行

啓動Spark集羣 啓動SparkSQL Client：./home/spark/opt/spark-1.2.0-bin-hadoop2.4/bin/spark-sql --master spark://172.16.107.9:7077 --executor-memory 1g 運行SQL，訪問hive的表：spark-sql>select count(*) from test.t1;

注意：

在啓動spark-sql時，如果不指定master，則以local的方式運行，master既可以指定standalone的地址，也可以指定yarn；

當設定master爲yarn時(spark-sql--master yarn)時，可以通過http:// 172.16.107.9:8088頁面監控到整個job的執行過程；

如果在$SPARK_HOME/conf/spark-defaults.conf中配置了spark.masterspark:// 172.16.107.9:7077，那麼在啓動spark-sql時不指定master也是運行在standalone集羣之上。

3、可能的問題

在啓動的時候，報字符串輸入不正確，根據提示到$SPARK_HOME/conf/hive-site.xml修改正確即可正確啓動。

 

 

參考：

http://doc.okbase.net/byrhuangqiang/archive/104202.html

http://www.cnblogs.com/shishanyuan/p/4723604.html?utm_source=tuicool