sqoop
Sqoop是一款開源的工具,主要用於 在Hadoop(Hive)與傳統的數據庫 (mysql、postgresql...)間進行數據的傳遞,可以將一個關係型數據庫(例 如 : MySQL ,Oracle ,Postgres等) 中的數據導進到Hadoop的HDFS中, 也可以將HDFS的數據導進到關係型數據庫中。
數據庫<---->文件系統 主要用於進行數據轉移
用sqoop來查看mysql的數據庫和表
sqoop list-databases --connect jdbc:mysql://192.168.228.100:3306 --username root --password root
用sqoop來查看mysql某數據庫下的某個表
sqoop list-tables --connect jdbc:mysql://192.168.228.100:3306/sqoop --username root --password root
從mysql導入hdfs實現持久化
sqoop import --connect jdbc:mysql://192.168.228.100:3306/sqoop --username root --password root --table t_user --target-dir '/user/hive/warehouse/user'
將hdfs中的文件導出到mysql的表中
sqoop export --connect jdbc:mysql://192.168.228.100:3306/sqoop --username root --password root --table t_user1 --export-dir 'user/hive/warehouse/user'
事先準備好帶有字段的t_user1空表 ,導出文件數據後可以看到表中填充了記錄