前言
簡單的歸納了一下hive的使用 包括命令行參數 和 啓動時的一些配置參數 最後簡單的編寫了個UDF函數
1 . Hive 命令行
輸入$HIVE_HOME/bin/hive –H
或者 –help
可以顯示幫助選項:
說明:
1、 -i 初始化 HQL 文件。
2、 -e 從命令行執行指定的 HQL
3、 -f 執行 HQL 腳本
4、 -v 輸出執行的 HQL 語句到控制檯
5、 -p connect to Hive Server on port number
6、 -hiveconf x=y Use this to set hive/hadoop configuration variables.
例如:
$HIVE_HOME/bin/hive -e 'select * from tab1 a'
$HIVE_HOME/bin/hive -f /home/my/hive-script.sql
$HIVE_HOME/bin/hive -f hdfs://<namenode>:<port>/hive-script.sql
$HIVE_HOME/bin/hive -i /home/my/hive-init.sql
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'
--hiveconf hive.exec.compress.output=true
--hiveconf mapred.reduce.tasks=32
2 . Hive 參數配置
Hive 參數大全:https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
開發 Hive 應用時,不可避免地需要設定 Hive 的參數。
設定 Hive 的參數可以調優 HQL 代碼的執行效率,或幫助定位問題。
然而實踐中經常遇到的一個問題是,
爲什麼設定的參數沒有起作用?
這通常是錯誤的設定方式導致的。
對於一般參數,有以下三種設定方式:
- 配置文件 (全局有效)
- 命令行參數 (對 hive 啓動實例有效)
- 參數聲明 (對 hive 的連接 session 有效)
配置文件
用戶自定義配置文件:$HIVE_CONF_DIR/hive-site.xml
默認配置文件:$HIVE_CONF_DIR/hive-default.xml
用戶自定義配置
會覆蓋默認配置
。
另外,Hive 也會讀入 Hadoop 的配置,因爲 Hive 是作爲 Hadoop 的客戶端啓動的,Hive 的配置會覆蓋 Hadoop 的配置。
配置文件的設定對本機啓動的所有 Hive 進程都有效。
命令行參數
啓動 Hive(客戶端或 Server 方式)時,可以在命令行添加-hiveconf
來設定參數
例如:bin/hive -hiveconf hive.root.logger=INFO,console
設定對本次啓動的 Session(對於 Server 方式啓動,則是所有請求的 Sessions)有效。
參數聲明
可以在 HQL 中使用 SET 關鍵字設定參數,這一設定的作用域也是 session 級的。
比如:
set hive.exec.reducers.bytes.per.reducer=<number>
每個 reduce task 的平均負載數據量
set hive.exec.reducers.max=<number>
設置 reduce task 數量的上限
set mapreduce.job.reduces=<number>
指定固定的 reduce task 數量
但是,這個參數在必要時<業務邏輯決定只能用一個 reduce task> hive 會忽略
上述三種設定方式的優先級依次遞增。即參數聲明覆蓋命令行參數,命令行參數覆蓋配置文件設定。注意某些系統級的參數,例如 log4j 相關的設定,必須用前兩種方式設定,因爲那些參數的讀取在 Session 建立以前已經完成了。
2 . Hive 的UDF函數
當 Hive 提供的內置函數無法滿足你的業務處理需要時,此時就可以考慮使用用戶自定義函數(UDF:user-defined function)。
測試各種內置函數的快捷方法:
創建一個 dual 表
create table dual(id string);
load
一個文件(只有一行內容:內容爲一個空格)到 dual 表
新建 JAVA maven
項目
添加依賴
<dependencies>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.2.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.4</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.2</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
編寫一個 java 類,繼承 UDF
,並重載 evaluate
方法
import org.apache.hadoop.hive.ql.exec.UDF;
/**
* hive的自定義函數
*/
public class ItcastFunc extends UDF{
//重載
public String evaluate(String input){
return input.toLowerCase();//將大寫字母轉換成小寫
}
public int evaluate(int a,int b){
return a+b;//計算兩個數之和
}
}
打成 jar 包上傳到服務器
具體步驟 在終端
mvn clean
mvn package
將 jar 包添加到 hive 的 classpath
hive>add JAR /root/hivedata/udf.jar;
創建臨時函數與開發好的 java class 關聯
create temporary function udffunc as 'hive.udf.UDFFunc';
temporary表示爲臨時方法,當會話結束後失效;
udffunc爲hive中定義的函數名,‘hive.udf.UDFFunc’爲自定義方法的全類路徑
在 hive中使用自定義的函數
select udffunc("ABC") from dual;//輸出abc
select udffunc(2,3) from dual;//輸出5