Sqoop版本的使用

Sqoop的使用

實驗目的：
(1)掌握ETL工具Sqoop的使用
實驗要求：
(1)掌握ETL工具Sqoop的使用
(2) 能夠正常操作數據庫、表、數據

實驗環境：
(1)一臺獨立PC機或虛擬機
(2)每臺主機內存2G以上，磁盤剩餘空間500M以上
(3)已安裝CentOS 7.4操作系統
(4)已安裝JDK
(5)已完成Hadoop平臺的搭建
(6)已完成MySQL數據庫平臺的搭建
(7)已完成Hbase的安裝
(8)已完成Hive數據倉庫的安裝
(9)已完成Sqoop工具的安裝

一. 啓動集羣

MySQL使用root用戶進行操作。

Hadoop，Hbase，Hive，Sqoop使用admin用戶進行操作。

二. 啓動sqoop

1. 啓動sqoop
   

2. 創建數據庫
   
   
   
   

3. 使用Sqoop測試與MySQL的連通
   
   

4. 使用Sqoop導入MySQL數據到HDFS
   
   

5. 使用指定的分隔符
   
   

6. 導入指定條件的數據
   
   
   

7. 導入指定查詢語句的數據
   
   

8. 使用sqoop導出HDFS數據到MySQL
   
   
   
   
   

9. 導出指定字段
   
   
   

10. 導出表時指定分隔符

11. 批量導出


12. 使用Sqoop導入MySQL數據到Hive



13. 導入表的指定字段到Hive



三. 將常用的Sqoop腳本定義成作業，方便其他人調用(因爲sqoop1沒成功，此處使用sqoop2)

• (1)測試sqoop1版本與mysql是否互通出錯(原因：缺少jar包，在sqoop的lib目錄下加入所缺jar包，添加後正常)
  
  
  
  (2)執行導入命令錯誤(原因：缺少common lang3的jar包，加入到lib目錄下正常)
  
  
  
  (3)數據從MySql導入Hive出錯(原因：sqoop的lib目錄下沒有hive的jar包，加入正常)