Sqoop部署和導數據

• 安裝：

1. 1. tar –xzvf sqoop-1.4.1-cdh4.1.0.tar.gz
   2. add sqljdbc4.jar into /usr/lib/sqoop/lib
   3. 設置PATH

      1. export SQOOP_HOME=/usr/lib/sqoop

      2. export ANT_LIB=/home/op1/jasonliao/apache-ant-1.9.0/lib

      3. export PATH=$PATH:/home/op1/logging/tool/play-1.2.5:$JAVA_HOME/bin:$ANT_HOME/bin:$SQOOP_HOME/bin

• sqoop導入hbase：
  
  
  • 方式一：

                          sqoop import --connect 'jdbc:sqlserver://192.168.83.50;username=Uapp_system;password=12345wy_12345WY;database=MrtgTest' \

                           --table=a --columns a,b,c --where "b='f'" --hbase-table test_sqoop --column-family cf --hbase-row-key a -m 1

               這種column指定不是很靈活，不能指定多個column family。

• • 方式二：

1. 1. Sqoop導出到hdfs：
      
      1. sqoop import --connect 'jdbc:sqlserver://192.168.83.50;username=Uapp_system;password=12345wy_12345WY;database=MrtgTest' --table=a --columns a,b,c --where "b='f'" --target-dir /user/xgliao/output2 -m 1

   2. Importtsv轉換成hfile文件：

      1. hadoop jar /usr/lib/hbase/hbase-0.94.2-cdh4.2.0-security.jar importtsv -Dimporttsv.bulk.output=/user/xgliao/hfile/test -Dimporttsv.separator=, -Dimporttsv.timestamp=20130322 -Dimporttsv.columns=HBASE_ROW_KEY,cf:x,cf:y test_sqoop /user/xgliao/output2
   3. Hfile文件導入hbase：
      1. hadoop jar /usr/lib/hbase/hbase-0.94.2-cdh4.2.0-security.jar completebulkload /user/xgliao/hfile/test test_sqoop (要注意生產hdfs文件跟hbase文件是同一目錄下面的)

              這種方式步驟比較多，但是比較靈活，導入過程基本不佔用hbase資源。