註冊豆瓣10年以上了， 最近想找下 和自己共同愛好比較多的人
但豆瓣不提供這個功能，網上的好多豆瓣爬蟲一般是爬電影。於是 ，自己 查了查一本爬蟲的書，目前簡單寫了下，已經跑通了流程，實現了核心功能，能初步達到尋找共同愛好多的人
代碼在這
https://github.com/haithink/doubanSpyder
這個估計是個最簡單的爬蟲了，不處理分頁， 不對URL進行查重， 處理的異常很少，只有一個反爬策略， 等等
但是， 的確能工作，能爬起來， 運行了幾個小時， 總共獲取了 幾十萬個 主頁地址，獲取數千個共同愛好
這樣做也很好，先把 核心流程完成， 會比較有成就感，然後 再一步一步進行完善