聲明:本文系JavaEye網站發佈的原創博客文章,未經作者書面許可,嚴禁任何網站轉載本文,否則必將追究法律責任!
今天是2008年7月7日星期一,下午一直在學校做個人開始頁面。因爲離不開google的翻譯,所以想把google的翻譯整合到我的開始頁面中來,於是乎就遇到了一個問題,怎樣使用java程序發送http請求然後截獲遠程服務器返回的數據進行適當處理之後再輸出?另外,google的翻譯頁面是使用post的方法提交數據的,無法直接通過網址進行處理,於是乎,這又涉及到了一個怎樣使用java去post數據的問題。
經過拜讀百度知道的提問(花了我20分),找到了一個htmlparser的jar包組件,據說是可以很高效率的進行html的解析。於是乎,立馬下載了一個過來。(文後附件中有)試了一下果然不錯。同時,在這個過程中也學會了怎樣利用java來和其它網站交互,這可是一個非常不錯的功能,配合htmlparser,可以隨心所欲的截取別人網站的信息了!
廢話不多說了,下面是具體的使用步驟。
首先,向一個Web站點發送POST請求只需要簡單的幾步:
注意,這裏不需要導入任何第三方包
package com.test;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.URL;
import java.net.URLConnection;
public class TestPost {
public static void testPost() throws IOException {
/**
* 首先要和URL下的URLConnection對話。 URLConnection可以很容易的從URL得到。比如: // Using
* java.net.URL and //java.net.URLConnection
*/
URL url = new URL("http://www.faircanton.com/message/check.asp");
URLConnection connection = url.openConnection();
/**
* 然後把連接設爲輸出模式。URLConnection通常作爲輸入來使用,比如下載一個Web頁。
* 通過把URLConnection設爲輸出,你可以把數據向你個Web頁傳送。下面是如何做:
*/
connection.setDoOutput(true);
/**
* 最後,爲了得到OutputStream,簡單起見,把它約束在Writer並且放入POST信息中,例如: ...
*/
OutputStreamWriter out = new OutputStreamWriter(connection
.getOutputStream(), "8859_1");
out.write("username=kevin&password=*********"); //post的關鍵所在!
// remember to clean up
out.flush();
out.close();
/**
* 這樣就可以發送一個看起來象這樣的POST:
* POST /jobsearch/jobsearch.cgi HTTP 1.0 ACCEPT:
* text/plain Content-type: application/x-www-form-urlencoded
* Content-length: 99 username=bob password=someword
*/
// 一旦發送成功,用以下方法就可以得到服務器的迴應:
String sCurrentLine;
String sTotalString;
sCurrentLine = "";
sTotalString = "";
InputStream l_urlStream;
l_urlStream = connection.getInputStream();
// 傳說中的三層包裝阿!
BufferedReader l_reader = new BufferedReader(new InputStreamReader(
l_urlStream));
while ((sCurrentLine = l_reader.readLine()) != null) {
sTotalString += sCurrentLine + "/r/n";
}
System.out.println(sTotalString);
}
public static void main(String[] args) throws IOException {
testPost();
}
}
執行的結果:(果真是返回了驗證後的html阿!神奇!)
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
<title>賬戶已經凍結</title>
<style type="text/css">
<!--
.temp {
font-family: Arial, Helvetica, sans-serif;
font-size: 14px;
font-weight: bold;
color: #666666;
margin: 10px;
padding: 10px;
border: 1px solid #999999;
}
.STYLE1 {color: #FF0000}
-->
</style>
</head>
<body>
<p> </p>
<p> </p>
<p> </p>
<table width="700" border="0" align="center" cellpadding="0" cellspacing="0" class="temp">
<tr>
<td width="135" height="192"><div align="center"><img src="images/err.jpg" width="54" height="58"></div></td>
<td width="563"><p><span class="STYLE1">登錄失敗</span><br>
<br>
您的帳戶活躍指數低於系統限制,您的帳戶已經被暫時凍結。<br>
請您聯繫網絡主管或者人事主管重新激活您的帳戶。</p>
</td>
</tr>
</table>
<p> </p>
</body>
</html>
一些Web站點用POST形式而不是GET,這是因爲POST能夠攜帶更多的數據,而且不用URL,這使得它看起來不那麼龐大。使用上面列出的大致的代碼,Java代碼可以和這些站點輕鬆的實現對話。
得到html以後,分析內容就顯得相對輕鬆了。現在就可以使用htmlparser了,下面是一個簡單的示例程序,過多的解釋我就不說了,相信代碼能夠說明一切的!
package com.test;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.tags.TableTag;
import org.htmlparser.util.NodeList;
/**
* 標題:利用htmlparser提取網頁純文本的例子
*/
public class TestHTMLParser {
public static void testHtml() {
try {
String sCurrentLine;
String sTotalString;
sCurrentLine = "";
sTotalString = "";
java.io.InputStream l_urlStream;
java.net.URL l_url = new java.net.URL("http://www.ideagrace.com/html/doc/2006/07/04/00929.html");
java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();
l_connection.connect();
l_urlStream = l_connection.getInputStream();
java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));
while ((sCurrentLine = l_reader.readLine()) != null) {
sTotalString += sCurrentLine+"/r/n";
// System.out.println(sTotalString);
}
String testText = extractText(sTotalString);
System.out.println( testText );
} catch (Exception e) {
e.printStackTrace();
}
}
public static String extractText(String inputHtml) throws Exception {
StringBuffer text = new StringBuffer();
Parser parser = Parser.createParser(new String(inputHtml.getBytes(),"GBK"), "GBK");
// 遍歷所有的節點
NodeList nodes = parser.extractAllNodesThatMatch(new NodeFilter() {
public boolean accept(Node node) {
return true;
}
});
System.out.println(nodes.size()); //打印節點的數量
for (int i=0;i<nodes.size();i++){
Node nodet = nodes.elementAt(i);
//System.out.println(nodet.getText());
text.append(new String(nodet.toPlainTextString().getBytes("GBK"))+"/r/n");
}
return text.toString();
}
public static void test5(String resource) throws Exception {
Parser myParser = new Parser(resource);
myParser.setEncoding("GBK");
String filterStr = "table";
NodeFilter filter = new TagNameFilter(filterStr);
NodeList nodeList = myParser.extractAllNodesThatMatch(filter);
TableTag tabletag = (TableTag) nodeList.elementAt(11);
}
public static void main(String[] args) throws Exception {
// test5("http://www.ggdig.com");
testHtml();
}
}