1.sqoop下載
https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/
2.sqoop上傳到服務器 並解壓到相應的目錄
3.修改sqoop的配置文件
4.修改配置文件
5.拷貝sqoop需要的mysql 數據庫驅動
cp /home/nflow/servers/hive/lib/mysql-connector-java-5.1.26-bin.jar /home/nflow/servers/sqoop-1.4.7/lib/
6.啓動sqoop測試 (可以看出連接數據庫了)
./sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root --password 123456
7.sqoop導入數據
從博主拿過來的sql
drop database if exists userdb; create database userdb; use userdb; drop table if exists emp; drop table if exists emp_add; drop table if exists emp_conn; CREATE TABLE emp( id INT NOT NULL, name VARCHAR(100), deg VARCHAR(100), salary BIGINT, dept VARCHAR(50) ); CREATE TABLE emp_add( id INT NOT NULL, hno VARCHAR(50), street VARCHAR(50), city VARCHAR(50) ); CREATE TABLE emp_conn( id INT NOT NULL, phno VARCHAR(50), email VARCHAR(50) ); insert into emp values(1201,'gopal','manager','50000','TP'); insert into emp values(1202,'manisha','Proof reader','50000','TP'); insert into emp values(1203,'khalil','php dev','30000','AC'); insert into emp values(1204,'prasanth','php dev','30000','AC'); insert into emp values(1205,'kranthi','admin','20000','TP'); insert into emp_add values(1201,'288A','vgiri','jublee'); insert into emp_add values(1202,'108I','aoc','sec-bad'); insert into emp_add values(1203,'144Z','pgutta','hyd'); insert into emp_add values(1204,'78B','old city','sec-bad'); insert into emp_add values(1205,'720X','hitec','sec-bad'); insert into emp_conn values(1201,'2356742','[email protected]'); insert into emp_conn values(1202,'1661663','[email protected]'); insert into emp_conn values(1203,'8887776','[email protected]'); insert into emp_conn values(1204,'9988774','[email protected]'); insert into emp_conn values(1205,'1231231','[email protected]'); ———————————————— ####感謝此博主 版權爲別人的版權 我只是試用下 版權聲明:本文爲CSDN博主「記錄每一份筆記」的原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接及本聲明。 原文鏈接:https://blog.csdn.net/yumingzhu1/article/details/80678525
從mysql 到 hdfs
#/bin/bash ./bin/sqoop import \ --connect jdbc:mysql://192.168.249.10:3306/userdb \ --username root \ --password 123456 \ --table emp \ --m 1 [nflow@hadoop-master1 sqoop-1.4.7]$ pwd /home/nflow/servers/sqoop-1.4.7 [nflow@hadoop-master1 sqoop-1.4.7]$ 默認導出的位置爲 /usr/用戶/表名 數據庫不能用localhost或者127.0.0.1 不然會報錯 必須要用IP地址
HDFS 目錄下次在導入不能重複
重新修改腳本如下 這樣每次都可以生成新的
mysql數據導入到hive裏面
數據庫數據
./sqoop import \ --connect jdbc:mysql://192.168.249.10:3306/userdb \ ##userdb --username admin \ #數據庫admin用戶 --password 123456 \ #數據庫admin用戶的密碼 --table emp_add \ #數據庫admin裏面的emp_add表 --delete-target-dir \ #每次刪除 --num-mappers 1 \ ##mapreduce 進程個數 --hive-import \ ##指定hive --hive-database default \ ##hive的默認數據庫 --hive-table empadd \ ##hive裏面 default 數據的表名稱 --fields-terminated-by '\t' ###換行