大數據實訓04--Sqoop應用

sqoop

Sqoop是一款開源的工具,主要用於 在Hadoop(Hive)與傳統的數據庫 (mysql、postgresql...)間進行數據的傳遞,可以將一個關係型數據庫(例 如 : MySQL ,Oracle ,Postgres等) 中的數據導進到Hadoop的HDFS中, 也可以將HDFS的數據導進到關係型數據庫中。
 

數據庫<---->文件系統    主要用於進行數據轉移

用sqoop來查看mysql的數據庫和表

sqoop list-databases --connect jdbc:mysql://192.168.228.100:3306 --username root --password root

用sqoop來查看mysql某數據庫下的某個表 

sqoop list-tables --connect jdbc:mysql://192.168.228.100:3306/sqoop --username root --password root

 

 從mysql導入hdfs實現持久化

sqoop import --connect jdbc:mysql://192.168.228.100:3306/sqoop --username root --password root --table t_user --target-dir '/user/hive/warehouse/user'

 

將hdfs中的文件導出到mysql的表中 

sqoop export --connect jdbc:mysql://192.168.228.100:3306/sqoop --username root --password root --table t_user1 --export-dir 'user/hive/warehouse/user'

 

事先準備好帶有字段的t_user1空表 ,導出文件數據後可以看到表中填充了記錄

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章