Hbase與 Sqoop 的集成

  1. 需求:
            將 RDBMS(關係型數據庫) 中的數據抽取到 HBase 中 。
  2. 修改/usr/local/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf/目錄下配置 文件sqoop-env.sh
     
  3. 在 Mysql 中新建一個數據庫 db_library,一張表 book 
     
     
  4. 向表中插入一些數據 
     
  5.  執行 Sqoop 導入數據的操作 
     
    bin/sqoop import \ 
    --connect jdbc:mysql://hadoop111:3306/db_library \ 
    --username root \ 
    --password 897570 \ 
    --table book \ 
    --columns "id,name,price" \ 
    --column-family "info" \ 
    --hbase-create-table \ 
    --hbase-row-key "id" \ 
    --hbase-table "hbase_book" \ 
    --num-mappers 1 \ 
    --split-by id

    --num-mappers 1 \    表示1個mapper
    --split-by id                表示按照ID分割,一個id一條數據

     出錯:
     

  6. 原因以及解決辦法
     原因::sqoop1.4.6 只支持 HBase1.0.1 之前的版本的自動創建 HBase 表的功能 。
     解決方案:手動創建 HBase 表 
       
  7. 再次執行
     
     
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章