Java爬蟲的數據選型
所有概念參考百度百科
數據採集層
採集獲取方面: HTTPClient
HttpClient是Apache Jakarta Common 下的子項目，可以用來提供高效的、最新的、功能豐富的支持 HTTP 協議的客戶端編程工具包，並且它支持 HTTP 協議最新的版本和建議。
HttpClient相比傳統JDK自帶的URLConnection，增加了易用性和靈活性，它不僅是客戶端發送Http請求變得容易，而且也方便了開發人員測試接口（基於Http協議的），即提高了開發的效率，也方便提高代碼的健壯性。因此熟練掌握HttpClient是很重要的必修內容，掌握HttpClient後，相信對於Http協議的瞭解會更加深入。
以下列出的是 HttpClient 提供的主要的功能，要知道更多詳細的功能可以參見 HttpClient 的主頁。
（1）實現了所有 HTTP 的方法（GET,POST,PUT,HEAD 等）
（2）支持自動轉向
（3）支持 HTTPS 協議
（4）支持代理服務器等
數據解析方面:
HTML Cleaner
HtmlCleaner是一個開源的Java語言的Html文檔解析器。HtmlCleaner能夠重新整理HTML文檔的每個元素並生成結構良好(Well-Formed)的 HTML 文檔。
Xpath
XPath即爲XML路徑語言（XML Path Language），它是一種用來確定XML文檔中某部分位置的語言。
XPath基於XML的樹狀結構，提供在數據結構樹中找尋節點的能力。起初XPath的提出的初衷是將其作爲一個通用的、介於XPointer與XSL間的語法模型。但是XPath很快的被開發者採用來當作小型查詢語言。
正則表達式
不再多介紹
數據存儲層:
HBase
HBase是一個分佈式的、面向列的開源數據庫，該技術來源於 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化數據的分佈式存儲系統”。就像Bigtable利用了Google文件系統（File System）所提供的分佈式數據存儲一樣，HBase在Hadoop之上提供了類似於Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關係數據庫，它是一個適合於非結構化數據存儲的數據庫。另一個不同的是HBase基於列的而不是基於行的模式。
Redis
redis是一個key-value存儲系統。
和Memcached類似，它支持存儲的value類型相對更多，包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash（哈希類型）。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支持各種不同方式的排序。
與memcached一樣，爲了保證效率，數據都是緩存在內存中。區別的是redis會週期性的把更新的數據寫入磁盤或者把修改操作寫入追加的記錄文件，並且在此基礎上實現了master-slave(主從)同步。
Redis 是一個高性能的key-value數據庫。 redis的出現，很大程度補償了memcached這類key/value存儲的不足，在部分場合可以對關係數據庫起到很好的補充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客戶端，使用很方便。
Redis支持主從同步。數據可以從主服務器向任意數量的從服務器上同步，從服務器可以是關聯其他從服務器的主服務器。這使得Redis可執行單層樹複製。存盤可以有意無意的對數據進行寫操作。由於完全實現了發佈/訂閱機制，使得從數據庫在任何地方同步樹時，可訂閱一個頻道並接收主服務器完整的消息發佈記錄。同步對讀取操作的可擴展性和數據冗餘很有幫助。
redis的官網地址，非常好記，是redis.io。（特意查了一下，域名後綴io屬於國家域名，是british Indian Ocean territory，即英屬印度洋領地）
目前，Vmware在資助着redis項目的開發和維護。
數據處理層:
solr/es
Solr是一個獨立的企業級搜索應用服務器，它對外提供類似於Web-service的API接口。用戶可以通過http請求，向搜索引擎服務器提交一定格式的XML文件，生成索引；也可以通過Http Get操作提出查找請求，並得到XML格式的返回結果。
特點:
Solr是一個高性能，採用Java5開發，基於Lucene的全文搜索服務器。同時對其進行了擴展，提供了比Lucene更爲豐富的查詢語言，同時實現了可配置、可擴展並對查詢性能進行了優化，並且提供了一個完善的功能管理界面，是一款非常優秀的全文搜索引擎。
es(ElasticSearch)
ElasticSearch是一個基於Lucene的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎，基於RESTful web接口。Elasticsearch是用Java開發的，並作爲Apache許可條款下的開放源碼發佈，是當前流行的企業級搜索引擎。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。
我們建立一個網站或應用程序，並要添加搜索功能，但是想要完成搜索工作的創建是非常困難的。我們希望搜索解決方案要運行速度快，我們希望能有一個零配置和一個完全免費的搜索模式，我們希望能夠簡單地使用JSON通過HTTP來索引數據，我們希望我們的搜索服務器始終可用，我們希望能夠從一臺開始並擴展到數百臺，我們要實時搜索，我們要簡單的多租戶，我們希望建立一個雲的解決方案。因此我們利用Elasticsearch來解決所有這些問題及可能出現的更多其它問題。
數據展示層:
SpringMVC
不多解釋
freemarker
FreeMarker是一款模板引擎： 即一種基於模板和要改變的數據， 並用來生成輸出文本（HTML網頁、電子郵件、配置文件、源代碼等）的通用工具。 它不是面向最終用戶的，而是一個Java類庫，是一款程序員可以嵌入他們所開發產品的組件。
FreeMarker是免費的，基於Apache許可證2.0版本發佈。其模板編寫爲FreeMarker Template Language（FTL），屬於簡單、專用的語言。需要準備數據在真實編程語言中來顯示，比如數據庫查詢和業務運算， 之後模板顯示已經準備好的數據。在模板中，主要用於如何展現數據， 而在模板之外注意於要展示什麼數據 。
Jquery+HighChart
不多解釋