爬蟲學習過程中收集的資料
理性使用技術，遠離非法業務。
文章中鏈接是瀏覽器直接導出，5年的經驗積累
適合爬蟲入門者能力提升，包含多種數據採集思路
*[
爬蟲收藏夾
- 無頭瀏覽器異聞錄 | 嵐光
- Burp Suite
- Python網頁信息採集：使用PhantomJS採集淘寶天貓商品內容 - 華天清 - 博客園
- Selenium WebDriver 處理cookie - to be crazy - 博客園
- Selenium WebDriver Tutorial WebElement commands
- py爬蟲 - 專題 - 簡書
- SeimiCrawler首頁、文檔和下載 - Java爬蟲框架 - 開源中國社區
- 初窺Scrapy — Scrapy 0.24.1 文檔
- 找高手破解用Encrypt HTML Pro加密的JS文件。急！
- WebKit on Windows | WebKit
- 使用httpclient模擬登錄京東帳戶並抓取帳戶信息 - lonter的爬蟲博客 - 博客頻道 - CSDN.NET
- Detecting PhantomJS Based Visitors
- Amazon.com: webkit - Amazon Device Accessories: Kindle Store
- 全網代理IP_免費代理IP_代理服務器IP_代理IP測試_API接口_高匿代理IP
- /packer/
- 接口測試-browsermob-proxy - D.Q的專欄 - 博客頻道 - CSDN.NET
- GitHub - lightbody/browsermob-proxy: A free utility to help web developers watch and manipulate network traffic from their AJAX applications.
- SeimiCrawler一個敏捷強大的Java爬蟲框架 — SeimiCrawler 1.1.0 文檔
- Sikuli Script - Home
- Scrapy入門教程 — Scrapy 0.24.1 文檔
- Scrapyd — Scrapy 1.0.5 documentation
- Python爬蟲入門（1）：綜述 - Python - 伯樂在線
- Python 爬蟲的工具列表 附Github代碼下載鏈接 | 36大數據
- scrapy與scrapyd安裝_Java123社區
- JRex Releases
- 爬蟲 js,flash,ajax網頁（JREX） - - ITeye技術網站
- loadrunuer破解驗證碼 - - 博客頻道 - CSDN.NET
- 介紹 JDesktop Integration Components
- 用python分佈式地爬蟲豆瓣/Twitter - - 博客頻道 - CSDN.NET
- PhantomJS | PhantomJS
- 支付寶錢寶、QQ等Android應用手勢密碼可被SwipeBack滑動取消_安全_cnBeta.COM
- Appium小試 - oscarxie - 博客園
- Apifier - Documentation
- 《知網》中文版
爬蟲
- Bloom Filters by Example
- 查詢利器-bloom-filter詳解 | 我自然
- Bloom Filter 原理和源碼講解 - hadooper - 博客園
- 走進搜索引擎（第2版） - 圖書 - 噹噹網
- HTML Parser 2.0 API 文檔--JavaEE開源博客－阿Q
- 互聯網信息自動獲取與智能分析技術在新媒體..._百度文庫
- Java網頁數據採集器[上篇-數據採集] - SilverSky(SoFlash) - 博客園
- 單例模式_百度百科
- 開源網絡爬蟲介紹及其比較_h4ckseven的空間_百度空間
- Heritrix: Internet Archive Web Crawler - Browse /archive-crawler (heritrix 1.x)/1.14.4 at SourceForge.net
- heritrix 下載、安裝、配置、以及簡單開發 - Tonny - ITeye技術網站
- Heritrix的安裝與配置 （最新版 已測試通過）_劉啓元_百度空間
- 33款可用來抓數據的開源爬蟲軟件工具 | 36大數據
- amir20/phantomjs-node: PhantomJS integration module for NodeJS
- Java Socket 編寫的 HTTP 服務器應用_逍遙鄉--過兒的空間_百度空間
- deduplication-detecting - 文檔去重功能是爲了解決搜索引擎的文檔語義重複的問題，方法是多重哈希下的語義指紋算法。 - Google Project Hosting
- httpclient的cookie問題-CSDN論壇-CSDN.NET-中國最大的IT技術社區
- Cola：一個分佈式爬蟲框架 - 殘陽似血的博客
- HttpClient的基礎應用 - Red Star of Sleep's Blog - ITeye技術網站
- HttpClient模擬登陸的簡單例子 - NealCai - ITeye技術網站
- 使用httpclient模擬登錄 - 開源中國社區
- 如何使用HttpClient認證機制 - 浙林龍哥 - 博客園
- Java 實現程序運行狀態監控 之我的思路（守護進程） - 編程小記 - BlogJava
- 網絡爬蟲類HttpHelper-蘇飛工作室作品專區-蘇飛論壇
- 花瓣網_發現、採集你喜歡的一切
- HttpClient的基礎應用 - Red Star of Sleep's Blog - ITeye技術網站
- 利用httpclient 模擬登錄，獲取登錄後信息數據 - chenzenan的專欄 - 博客頻道 - CSDN.NET
- Beautiful Soup: We called him Tortoise because he taught us.
- 服務器中shell調用java類 - arsenic的專欄 - 博客頻道 - CSDN.NET
- Majestic-12 : Projects : C# HTML parser (.NET)
- Installation — CasperJS 1.1.0-DEV documentation
- htmlunit入門 - liangtee的個人頁面 - 開源中國社區
- 和我一起學 Selenium WebDriver（1）——入門篇 - zTree Blog - ITeye技術網站
- CyberNeko HTML Parser download | SourceForge.net
- 在http上遇到了些問題，對於下拉框的內容該怎麼設置訪問參數才能模擬登陸？ - 開源中國社區
- hadoop使用（三） - skyme - 博客園
- HttpWebRequest通過代理如何下載沒有後綴的圖片-CSDN論壇-CSDN.NET-中國最大的IT技術社區
- Related Projects | PhantomJS
- 如何讓 htmlunit 執行 javascript 時，不下載整個頁面，而只返回url - YiQiang Zhang's BLOG - 博客頻道 - CSDN.NET
- JAVA中幾種讀取文件字符串的效率哪個比較高？-CSDN論壇-CSDN
- python之scrapy入門教程 - 南寧-小六子 - 博客園
- 專欄：Python爬蟲入門教程 - 博客頻道 - CSDN.NET
- Training Kit (Exam 70-462) Administering Microsoft SQL Server 2012 Databases - Free Download eBook - pdf
- Source Checkout - deduplication-detecting - 文檔去重功能是爲了解決搜索引擎的文檔語義重複的問題，方法是多重哈希下的語義指紋算法。 - Google Project Hosting
- 如何利用socket進行HTTP訪問 - wbczyh的專欄 - 博客頻道 - CSDN
- Consulting | ScraperWiki
- 相似文檔查找算法之 simHash 簡介及其 java 實現 - leejun_2005的個人頁面 - 開源中國社區
- 模擬ajax實現網絡爬蟲——HtmlUnit - MiniBu - 開源中國社區
- 83款網絡爬蟲開源軟件 - 好工具站長分享平臺
- WebMagic
- 海量數據相似度計算之simhash短文本查找 - Lanceyan - 博客頻道 - CSDN.NET
- Elasticsearch.org Overview | Elasticsearch
- 83款 網絡爬蟲開源軟件 - cy163 - 博客園
- Java網絡爬蟲多線程實現_非標準IT女_新浪博客
- 多正則表達式匹配的應用 | 奇簡軟件（北京）有限公司
- HTTP協議詳解（真的很經典） - Hundre - 博客園
- 如何設計一個定向Web爬蟲？ - 知乎
- Heritrix1.14源碼分析（12） Heritrix的控制中心(大腦)CrawlController - 梁江江 - 博客頻道 - CSDN.NET
- htmlcleaner使用及xpath語法初探 - reesun的專欄 - 博客頻道 - CSDN.NET
- Majestic-12 : Projects : C# HTML parser (.NET)
- 01_爬蟲_crawler - 隨筆分類 - cphmvp - 博客園
net爬蟲
- WebBrowser控件使用詳解 - 檸檬隱士 - 博客園
- WebBrowser控件使用技巧分享 - 斯克迪亞 - 博客園
- C# WinForm WebBrowser 資料_百度文庫
- WebBrowser頁面與WinForm交互技巧 - wonsoft的專欄 - 博客頻道 - CSDN.NET
- c# WebBrowser獲取cookie - 寧靜.致遠 - 博客園
Socket
網頁解析
- The NTLM Authentication Protocol and Security Support Provider
- spray | Introduction » What is spray?
附件：