hadoop生態環境

1、Redhat linux下fluentd+fluentd 實現橋接 http://www.it165.net/os/html/201209/3499.html
2、日誌收集系統 Fluentd http://www.linuxdiyf.com/viewarticle.php?id=371318

3、
3-1、SaikuSaiku是一個模塊化的分析套件,它提供了一個RESTful服務器,基於JackRabbit的工作區管理,OAuth安全管理和基於JSON或XML的數據通信。其目標是讓你在應用程序中嵌入數據分析儘可能的簡單。它還提供一個基於jQuery開發的前臺來方便安裝和運行(http://www.open-open.com/open305825.htm)
3-2、Saiku是一個模塊化的開源分析套件,它提供輕量級的OLAP(聯機分析處理),並且可嵌入、可擴展、可配置(http://www.oschina.net/p/saiku)


4 運維工具:http://www.opstool.com/category/35

5 Transwarp Data Hub(簡稱TDH)是國內首個全面支持Spark和Hadoop2的一站式大數據平臺
http://www.transwarp.io/product.html
6\activemq 很好的參考資料
http://shensy.iteye.com/blog/1752529


7\ hbase rowkey 設計(三維有序)
http://ronxin999.blog.163.com/blog/static/4221792020130109202973?suggestedreading

8\ hadoop-lzo
https://github.com/twitter/hadoop-lzo/releases
https://github.com/google/snappy

9\Hadoop/Hbase的Snappy安裝 .

http://blog.csdn.net/lixucpf/article/details/18314409


10\關於major compact
Here is some help for this command:
Run major compaction on passed table or pass a region row
to major compact an individual region. To compact a single
column family within a region specify the region name
followed by the column family name.
Examples:
Compact all regions in a table:
hbase> major_compact 't1'
Compact an entire region:
hbase> major_compact 'r1'
Compact a single column family within a region:
hbase> major_compact 'r1', 'c1'
Compact a single column family within a table:
hbase> major_compact 't1', 'c1'


[url=http://www.idouye.cn]土木工程網[/url]

11\分詞器
11.1 ansj


/////////////////////////////////////
爬蟲地址
http://blog.chinaunix.net/uid-22414998-id-3774291.html

hadoop2.0相關
1、安裝配置 http://www.kankanews.com/ICkengine/archives/86515.shtml

solr 與hadoop
1\solr4.4+hadoop2.1.0beta整合http://www.kankanews.com/ICkengine/archives/42064.shtml
深入剖析SolrCloud(四)solrcloud 與replication http://www.blogjava.net/wangxinsh55/archive/2012/07/04/382220.html
http://wiki.apache.org/solr/SolrCloud

1\分詞
https://github.com/ansjsun/ansj_seg/

2\導數進入solr
http://wiki.apache.org/solr/DataImportHandler#Configuration_in_data-config.xml
3\jvm 優化
利用Arena Allocation避免HBase觸發Full GC http://kenwublog.com/avoid-full-gc-in-hbase-using-arena-allocation
4\
https://github.com/NGDATA/hbase-indexer/wiki/Requirements
https://github.com/NGDATA/hbase-indexer/wiki/Installation
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章