ETL工具Sqoop使用
一:啓動集羣
Hadoop,Hbase,Hive,Sqoop使用admin用戶進行操作。
啓動Zookeeper服務
啓動Hadoop集羣
用jps命令查看
二:MySQL集羣使用root用戶進行操作
三:mysql->HDFS
MySQL集羣使用root用戶進行操作。
Hadoop,Hbase,Hive,Sqoop使用admin用戶進行操作。
測試
(1)初始化Sqoop服務器連接操作
注:其中“host”和“port”分別爲Sqoop服務器的主機名和服務器所使用的端口號,“port”採用默認的端口號“12000”,“webapp”爲指定Sqoop的jetty服務器的標識名稱,可以自己定義。
(2)查看服務器連接
(3)查看所有連接模板信息
建立MySQL測試表空間,表和數據
a.創建用戶sqoop並授權,建立新的數據庫
b.創建表並查詢
c.插入測試語句
建立MySQL數據庫連接
(1) 把MySQL的數據庫連接工具包“mysql-connector-java-5.1.42-bin.jar”上傳到用戶家目錄的“setups”目錄下,該目錄爲事先自行創建用於存放實訓相關軟件包的目錄。
(2) 將MySQL的數據庫連接工具包添加到Sqoop的“extra”目錄下
(3)創建數據庫連接
(4)建立HDFS文件系統連接
(5)在HDFS創建用於存放導出的數據文件的目錄
(6)創建數據傳輸事務
四:練習
在admin用戶家目錄/home/admin/新建一個文本文件test001.txt
從本地文件系統複製文件到HDFS文件系統
在MySQL提前創新好表結構
創建job並執行導入到mysql
在mysql查詢導入的數據