ETL工具Sqoop使用

ETL工具Sqoop使用

一:啓動集羣
Hadoop,Hbase,Hive,Sqoop使用admin用戶進行操作。
啓動Zookeeper服務
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
啓動Hadoop集羣
在這裏插入圖片描述
在這裏插入圖片描述
用jps命令查看
在這裏插入圖片描述
二:MySQL集羣使用root用戶進行操作
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
三:mysql->HDFS
MySQL集羣使用root用戶進行操作。
Hadoop,Hbase,Hive,Sqoop使用admin用戶進行操作。
測試
(1)初始化Sqoop服務器連接操作
在這裏插入圖片描述
注:其中“host”和“port”分別爲Sqoop服務器的主機名和服務器所使用的端口號,“port”採用默認的端口號“12000”,“webapp”爲指定Sqoop的jetty服務器的標識名稱,可以自己定義。
(2)查看服務器連接
在這裏插入圖片描述
(3)查看所有連接模板信息
在這裏插入圖片描述
建立MySQL測試表空間,表和數據
a.創建用戶sqoop並授權,建立新的數據庫
在這裏插入圖片描述
b.創建表並查詢
在這裏插入圖片描述
c.插入測試語句
在這裏插入圖片描述
建立MySQL數據庫連接
(1) 把MySQL的數據庫連接工具包“mysql-connector-java-5.1.42-bin.jar”上傳到用戶家目錄的“setups”目錄下,該目錄爲事先自行創建用於存放實訓相關軟件包的目錄。
(2) 將MySQL的數據庫連接工具包添加到Sqoop的“extra”目錄下
在這裏插入圖片描述
(3)創建數據庫連接
在這裏插入圖片描述
(4)建立HDFS文件系統連接
在這裏插入圖片描述
在這裏插入圖片描述
(5)在HDFS創建用於存放導出的數據文件的目錄
在這裏插入圖片描述
(6)創建數據傳輸事務
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
四:練習
在admin用戶家目錄/home/admin/新建一個文本文件test001.txt
在這裏插入圖片描述
從本地文件系統複製文件到HDFS文件系統
在這裏插入圖片描述
在MySQL提前創新好表結構
在這裏插入圖片描述
在這裏插入圖片描述
創建job並執行導入到mysql
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在mysql查詢導入的數據
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章