hbase+python安裝部署及操作
本文總結下最近在用python+spark+hbase安裝操作中的一些問題。
- hbase安裝
- hbase配置
- spark配置hbase
- hbase配置python
hbase安裝+hbase配置
安裝流程可借鑑此處，同理spark安裝也可借鑑此處
具體參考：http://dblab.xmu.edu.cn/blog/install-hbase/
spark配置hbase
把HBase的lib目錄下的一些jar文件拷貝到Spark目錄中（直接拷貝到spark目錄即可），這些都是編程時需要引入的jar包，需要拷貝的jar文件包括：所有hbase開頭的jar文件、guava-12.0.1.jar、htrace-core-3.1.0-incubating.jar和protobuf-java-2.5.0.jar（共42個包）
具體參考：http://dblab.xmu.edu.cn/blog/1715-2/
hbase配置python
用python操作hbase時需要用到happybase庫
python+happybase
1.pip install happybase 直接安裝即可
2.測試安裝 python -c ‘import happybase’，不報錯就是正常的或直接導入happybase包不報錯
3.安裝thrift，thrift爲一個語言編譯器，在python去操作hbase是需要將語言重新編譯爲hbase底層支持的c++，具體可看https://www.cnblogs.com/enternal/p/5275455.html
4.要在hbase主節點上啓動thrift server
hbase thrift -p 9090 start
啓動完成爲就爲啓動成功，此頁面一直保持，不要關閉，關閉則服務也關閉，在生產環境中可自行配置爲後臺啓動
此時即可用python操作hbase，或者可直接參考happybase提供的官方API文檔
http://happybase.readthedocs.io/en/latest/user.html#establishing-a-connection
具體參考：http://blog.csdn.net/lizhe_dashuju/article/details/53931749
後續研究用pyspark來操作hbase