Java寫的爬蟲爬百度首頁Code《轉自零基礎寫Java知乎爬蟲之先拿百度首頁練練手》

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class BaiDuDemo {
	static String sendGet(String url){
		//定義一個字符串用來存儲網頁內容
		String result = "";
		//定義一個緩衝輸入字符流
		BufferedReader in = null;
		try{
			//將string轉成url對象URL 
			realUrl = new URL(url);
			//初始化一個鏈接到那個url的連接
			URLConnection connection = realUrl.openConnection();
			//開始實際的連接
			connection.connect();
			//初始化BuffereReader輸入流來讀取URL的響應
			in = new BufferedReader(new InputStreamReader(
					connection.getInputStream()));
			//用來臨時存儲抓取到的每一行數據
			String line;
			while ((line = in.readLine()) != null) {
				//遍歷抓取到的每一行並將其存儲到result裏面
				result += line;
			}
		}catch (Exception e) {
			System.out.println("發送GET請求出現異常！" + e);
			e.printStackTrace();
		}
		//使用finally來關閉輸入流
		finally{
			try {
				if(in != null){
					in.close();
				}
			} catch (Exception e2) {
				e2.printStackTrace();
			}
		}
		
		return result;
	}
	
	static String RegexString(String targetStr, String patternStr){
		//定義一個樣式模板，此中使用正則表達式，括號中是要抓的內容
		//相當於埋好了陷阱匹配的地方就會掉下去
		Pattern pattern = Pattern.compile(patternStr);
		//定義一個matcher用來做匹配
		Matcher matcher = pattern.matcher(targetStr);
		//如果找到了
		if(matcher.find()){
			return matcher.group(1);
		}
		
		return "";
	}
	
	public static void main(String[] args) {
		//定義即將訪問的連接
		String url ="http://www.baidu.com";
		//訪問連接並獲取頁面內容
		String result = sendGet(url);
		//使用正則匹配圖片的src內容
		String imgSrc = RegexString(result, "src=\"(.+?)\"");
		System.out.println(imgSrc);
	}
}