工具
WebCollector:https://www.oschina.net/p/webcollector
概述
突然想把xx網站的圖片下載下來,但是一張一張的去另存爲很是不爽,於是乎上網找了一個java爬蟲。
上面鏈接裏面的爬蟲文檔寫的已經非常詳細了。
我在這裏面就簡單的說下:
打開上面的鏈接,搜索【WebCollector圖片抓取教程】,打開鏈接後,你會發現有非常詳細的教程。
核心語法
//添加種子URL
demoImageCrawler.addSeed("http://www.meishij.net/");
//限定爬取範圍
demoImageCrawler.addRegex("http://www.meishij.net/.*");//這個.*就是通配符的意思,利用好這點,一般網站的圖片都可以爬取