Hive入門詳解（一）

個人博客原文鏈接

簡介

Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張數據庫表，並提供類SQL查詢功能

Hive的優點

• 學習成本低，避免使用複雜的MapReduce
• 開發週期短，使用類sql語法，十分簡潔
• 拓展性強

Hive的缺點

執行延遲高，處理速度慢，只適合用來做大規模批量數據統計

Hive的組件

• 用戶接口：CLI、JDBC/ODBC、WebGUI
  CLI爲shell命令行；JDBC/ODBC是Hive的JAVA實現，與傳統數據庫JDBC類似；WebGUI是通過瀏覽器訪問Hive。
• 元數據存儲：存儲在關係數據庫如 mysql，derby中
  Hive 將元數據存儲在數據庫中。Hive 中的元數據包括表的名字，表的列和分區及其屬性，表的屬性（是否爲外部表等），表的數據所在目錄等。
• 解釋器、編譯器、優化器、執行器
  解釋器、編譯器、優化器完成HQL查詢語句從詞法分析、語法分析、編譯、優化以及查詢計劃的生成。生成的查詢計劃存儲在HDFS中，並在隨後由MapReduce調用執行。

Hive與Hadoop的關係

hive利用hdfs存儲數據，利用mapreduce查詢數據
流程：
1.發出並執行HQL語句
2.Hive處理，轉換成MapReduce
3.提交任務到Hadoop，MapReduce運行
4.HDFS操作

Hive的數據存儲

1. Hive中所有的數據都存儲在HDFS中，沒有專門的數據存儲格式
2. 只需要在創建表的時候告訴Hive數據中的列分隔符和行分隔符，Hive 就可以解析數據
3. Hive中包含以下數據模型：DB、Table，External Table，Partition，Bucket
   • db：在hdfs中表現爲user/hive/warehouse/目錄下的一個文件夾
   • table：在hdfs中表現所屬db目錄下一個文件夾
   • external table：與table類似，不過其數據存放位置可以任意指定
   • partition：在hdfs中表現爲table目錄下的子目錄
   • bucket：在hdfs中表現爲同一個table目錄下根據hash散列之後的多個文件

安裝Hive

1. 將hive安裝到hadoop的同級目錄下
   tar -zxvf apache-hive-2.3.3-bin.tar.gz -C /home/hadoop/apps/
2. 配置環境變量
   vi ~/.bash_profile
   增加
   export HIVE_HOME=
   export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin
   :$HIVE_HOME/bin
   刷新配置文件
   source ~/.bash_profile
3. 修改配置文件hive-site.xml
   vi /home/hadoop/apps/hive/conf/hive-site.xml
   添加

<configuration>
<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>
<property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
</property>
<property>
        <name>javax.jdo.option.ConnectionPassword</name> 
         <value>Lousen??1234</value>
</property>
</configuration>

4. 導入連接mysql的jar包
   cp mysql-connector-java-5.1.38.jar /home/hadoop/apps/hive/lib/
5. 進入mysql創建對應用戶
   mysql -uroot -p
   create user ‘hive’@‘hadoop1’ identified by ‘Lousen??1234’
   grant all privileges on . to ‘hive’@‘hadoop1’ identified by ‘Lousen??1234’ with grant option;
   flush privileges;
6. 重啓mysql服務
   sudo systemctl restart mysqld
7. 初始化元數據
   schematool -dbType mysql -initSchema
8. 進入hive的shell
   hive