Hive:用Java代碼通過JDBC連接Hiveserver

我們可以通過CLI、Client、Web UI等Hive提供的用戶接口來和Hive通信，但這三種方式最常用的是CLI；Client 是Hive的客戶端，用戶連接至 Hive Server。在啓動 Client 模式的時候，需要指出Hive Server所在節點，並且在該節點啓動 Hive Server。 WUI 是通過瀏覽器訪問 Hive。今天我們來談談怎麼通過HiveServer來操作Hive。
　　Hive提供了jdbc驅動，使得我們可以用Java代碼來連接Hive並進行一些類關係型數據庫的sql語句查詢等操作。同關係型數據庫一樣，我們也需要將Hive的服務打開；在Hive 0.11.0版本之前，只有HiveServer服務可用，你得在程序操作Hive之前，必須在Hive安裝的服務器上打開HiveServer服務，如下：

1	[wyp@localhost /home/q/hive-0.11.0]$ bin/hive --service hiveserver -p 10002

2	Starting Hive Thrift Server

上面代表你已經成功的在端口爲10002（默認的端口是10000）啓動了hiveserver服務。這時候，你就可以通過Java代碼來連接hiveserver，代碼如下：

01	package com.wyp;

02

/**

03	* User: 過往記憶

04	* Blog: http://www.iteblog.com/

05	* Date: 13-11-27

06	* Time: 下午5:52

07

*/

08	import java.sql.SQLException;

09	import java.sql.Connection;

10	import java.sql.ResultSet;

11	import java.sql.Statement;

12	import java.sql.DriverManager;

13

14	public class HiveJdbcTest {

15

16	private static String driverName =

17	"org.apache.hadoop.hive.jdbc.HiveDriver";

18

19	public static void main(String[] args)

20	throws SQLException {

21

try {

22	Class.forName(driverName);

23	} catch (ClassNotFoundException e) {

24	e.printStackTrace();

25	System.exit(1);

26

}

27

28	Connection con = DriverManager.getConnection(

29	"jdbc:hive://localhost:10002/default", "wyp", "");

30	Statement stmt = con.createStatement();

31	String tableName = "wyphao";

32	stmt.execute("drop table if exists " + tableName);

33	stmt.execute("create table " + tableName +

34	" (key int, value string)");

35	System.out.println("Create table success!");

36	// show tables

37	String sql = "show tables '" + tableName + "'";

38	System.out.println("Running: " + sql);

39	ResultSet res = stmt.executeQuery(sql);

40	if (res.next()) {

41	System.out.println(res.getString(1));

42

}

43

44	// describe table

45	sql = "describe " + tableName;

46	System.out.println("Running: " + sql);

47	res = stmt.executeQuery(sql);

48	while (res.next()) {

49	System.out.println(res.getString(1) + "\t" + res.getString(2));

50

}

51

52

53	sql = "select * from " + tableName;

54	res = stmt.executeQuery(sql);

55	while (res.next()) {

56	System.out.println(String.valueOf(res.getInt(1)) + "\t"

57	+ res.getString(2));

58

}

59

60	sql = "select count(1) from " + tableName;

61	System.out.println("Running: " + sql);

62	res = stmt.executeQuery(sql);

63	while (res.next()) {

64	System.out.println(res.getString(1));

65

}

66

}

67

}

編譯上面的代碼，之後就可以運行(我是在集成開發環境下面運行這個程序的)，結果如下：

01	Create table success!

02	Running: show tables 'wyphao'

03

wyphao

04	Running: describe wyphao

05	key                     int

06	value                   string

07	Running: select count(1) from wyphao

08

0

09

10	Process finished with exit code 0

　　如果你想在腳本里面運行，請將上面的程序打包成jar文件，並將上面的依賴庫放在/home/wyp/lib/（這個根據你自己的情況弄）中，同時加入到運行的環境變量，腳本如下：

01	#!/bin/bash

02	HADOOP_HOME=/home/q/hadoop-2.2.0

03	HIVE_HOME=/home/q/hive-0.11.0-bin

04

05	CLASSPATH=$CLASSPATH:

06

07	for i in /home/wyp/lib/*.jar ; do

08	CLASSPATH=$CLASSPATH:$i

09

done

10

11	echo $CLASSPATH

12	/home/q/java/jdk1.6.0_20/bin/java -cp  \

13	$CLASSPATH:/export1/tmp/yangping.wu/OutputText.jar  com.wyp.HiveJdbcTest

上面是用Java連接HiveServer，而HiveServer本身存在很多問題（比如：安全性、併發性等）；針對這些問題，Hive0.11.0版本提供了一個全新的服務：HiveServer2，這個很好的解決HiveServer存在的安全性、併發性等問題。這個服務啓動程序在${HIVE_HOME}/bin/hiveserver2裏面，你可以通過下面的方式來啓動HiveServer2服務：

1	$HIVE_HOME/bin/hiveserver2

也可以通過下面的方式啓動HiveServer2

1	$HIVE_HOME/bin/hive --service hiveserver2

兩種方式效果都一樣的。但是以前的程序需要修改兩個地方，如下所示：

01	private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";

02

改爲

03	private static String driverName = "org.apache.hive.jdbc.HiveDriver";

04

05

06

07	Connection con = DriverManager.getConnection(

08	"jdbc:hive://localhost:10002/default", "wyp", "");

09

改爲

10	Connection con = DriverManager.getConnection(

11	"jdbc:hive2://localhost:10002/default", "wyp", "");

其他的不變就可以了。

　　這裏順便說說本程序所依賴的jar包，一共有以下幾個：

1	hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar

2	$HIVE_HOME/lib/hive-exec-0.11.0.jar

3	$HIVE_HOME/lib/hive-jdbc-0.11.0.jar

4	$HIVE_HOME/lib/hive-metastore-0.11.0.jar

5	$HIVE_HOME/lib/hive-service-0.11.0.jar

6	$HIVE_HOME/lib/libfb303-0.9.0.jar

7	$HIVE_HOME/lib/commons-logging-1.0.4.jar

8	$HIVE_HOME/lib/slf4j-api-1.6.1.jar

　　如果你是用Maven，加入以下依賴

01	<dependency>

02	<groupId>org.apache.hive</groupId>

03	<artifactId>hive-jdbc</artifactId>

04	<version>0.11.0</version>

05	</dependency>

06

07	<dependency>

08	<groupId>org.apache.hadoop</groupId>

09	<artifactId>hadoop-common</artifactId>

10	<version>2.2.0</version>

11	</dependency>

尊重原創： 轉載自過往記憶（http://www.iteblog.com/）