【Sqoop】數據同步

HDFS數據導入Mysql實踐

 

源數據是SparkSQL job生成的，基於Sqoop將數據同步到Mysql

HDFS文件類型默認是parquet

壓縮格式是snappy

 

SparkSQL寫入HDFS，如果路徑不存在，自動創建，department目錄不存在，則會自定創建，目錄如下：

hdfs://clu:8020/dev/test/department

 

sqoop export \
--connect 'jdbc:mysql://localhost:3306/sqoop' \
--username 'root' \
--password 'root' \
--table 'user' \
--export-dir '/user.txt' \
--columns 'uname,vnum,fnumb' \
--mapreduce-job-name 'hdfs to mysql' \
--input-fields-terminated-by '\t' \
--input-lines-terminated-by '\n