引言:最近發現了一種比較簡單的爬取網頁方式--WebDriver,於是寫了個簡單的demo跟大家分享下,以此拋磚引玉...
demo的大致功能是這樣的:打開已知的代理網站,然後在相應的輸入框寫入想要代理的網站(www.facebook.com),最後得到www.facebook.com首頁的源文件
代碼需要的包:http://download.csdn.net/detail/javaweiming/6970171
程序所需的IE啓動程序:http://download.csdn.net/detail/javaweiming/6970189
demo代碼:
package core;
import java.util.List;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.ie.InternetExplorerDriver;
public class TestWebdriver {
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
//新建一個IEDriver
System.setProperty("webdriver.ie.driver", "d:\\IEDriverServer.exe");//IE啓動程序路徑
WebDriver driver=new InternetExplorerDriver();
//新建一個firefoxDriver
//System.setProperty("webdriver.firefox.bin", "D:/Mozilla firefox/firefox.exe");
// WebDriver driver = newFirefoxDriver();
driver.get("http://mehides.info/");//得到對應網址源文件
List<WebElement> forms = driver.findElements(By.tagName("form"));
System.out.println("forms.size()="+forms.size());
String action="";
for (int i = 0; i < forms.size(); i++) {
System.out.println("action==>"+forms.get(i).getAttribute("action"));
action=forms.get(i).getAttribute("action");
if(action.indexOf("process.php")>-1){
WebElement element=forms.get(i).findElement(By.tagName("input"));
element.clear();
element.sendKeys("www.facebook.com");
// element.sendKeys(Keys.ENTER);//回車事件
element.submit();
System.out.println(driver.getPageSource());//獲取打開網頁源文件
break;
}
}
//獲取select選項
// WebElement select = driver.findElement(By.tagName("select"));
// List<WebElement> allOptions = select.findElements(By.tagName("option"));
// for (WebElement option : allOptions) {
//System.out.println(String.format("Value is: %s", option.getAttribute("value")));
// option.click();
// }
//獲取input輸入框
// System.out.println("getTitle==>"+driver.getTitle());
// WebElement element = driver.findElement(By.name("q"));
// webDriver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);
// element.clear();
// element.sendKeys("www.facebook.com");
// element.sendKeys(Keys.ENTER);//回車事件 等同於下面的submit
// element.submit();
// driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);
// System.out.println(driver.getPageSource());
}
}
代碼中註釋掉的代碼大致功能已描述,各位可以根據相應的網址去進行測試
下面簡單介紹下WebDriver的基本API:
如何找到頁面元素Webdriver的findElement方法可以用來找到頁面的某個元素,最常用的方法是用id和name查找。
By ID假設頁面寫成這樣:
<input type=”text” name=”userName” id=”user” />
那麼可以這樣找到頁面的元素:
通過id查找:
WebElement element = driver.findElement(By.id(“user”));
By Name或通過name查找:
WebElement element = driver.findElement(By.name(“userName”));
By XPATH或通過xpath查找:
WebElement element =driver.findElement(By.xpath(“//input[@id='user']“));
By Class Name假設頁面寫成這樣:
<div class=”top”><span>Head</span></div><divclass=”top”><span>HeadName</span></div>
可以通過這樣查找頁面元素:
List<WebElement>top= driver.findElements(By.className(“top”));
By Link Text假設頁面元素寫成這樣:
<a href=”http://www.baidu.com”>baidu</a>>
那麼可以通過這樣查找:
WebElement baidu=driver.findElement(By.linkText(“baidu”));
輸入框傳值
輸入框(text field or textarea) 找到輸入框元素:
WebElement element = driver.findElement(By.id(“passwd-id”));
在輸入框中輸入內容:
element.sendKeys(“test”);
將輸入框清空:
element.clear();
獲取輸入框的文本內容:
element.getText();
下拉菜單
下拉選擇框(Select)找到下拉選擇框的元素:
Select select = new Select(driver.findElement(By.id(“select”)));
選擇對應的選擇項:select.selectByVisibleText(“testName”);
或
select.selectByValue(“name”);
不選擇對應的選擇項:
select.deselectAll();
select.deselectByValue(“name”);
select.deselectByVisibleText(“姓名”);
或者獲取選擇項的值:
select.getAllSelectedOptions();
select.getFirstSelectedOption();
單選框
單選項(Radio Button)找到單選框元素:
WebElement sex=driver.findElement(By.id(“sex”));
選擇某個單選項:
sex.click();
清空某個單選項:
sex.clear();
判斷某個單選項是否已經被選擇:
sex.isSelected();
複選框
多選項(checkbox)多選項的操作和單選的差不多:
WebElement area =driver.findElement(By.id(“area .”));
area .click();
area .clear();
area .isSelected();
area .isEnabled();
按鈕
按鈕(button)找到按鈕元素:
WebElement saveButton = driver.findElement(By.id(“save”));
點擊按鈕:
saveButton.click();
判斷按鈕是否enable:
saveButton.isEnabled ();
左右選擇框也就是左邊是可供選擇項,選擇後移動到右邊的框中,反之亦然。例如:
Select name= new Select(driver.findElement(By.id(“name”)));
name.selectByVisibleText(“hellen”);
WebElement addName=driver.findElement(By.id(“addButton”));
addName.click();
彈出框
彈出對話框(Popup dialogs)Alert alert = driver.switchTo().alert();
alert.accept();
alert.dismiss();
alert.getText();
表單提交
表單(Form)Form中的元素的操作和其它的元素操作一樣,對元素操作完成後對錶單的提交可以:
WebElement sub= driver.findElement(By.id(“sub”));
sub.click();
或
sub.submit();//只適合於表單的提交
上傳附件
上傳文件 (Upload File)上傳文件的元素操作:
WebElement picFile = driver.findElement(By.id(“picFile ”));
String filePath = “d:\\report\\600x600x0.jpg”;
picFile .sendKeys(filePath);
多窗口切換
Windows 或 Frames之間的切換
首先切換到默認的frame
driver.switchTo().defaultContent();
切換到某個frame:
driver.switchTo().frame(“leftFrame”);
從一個frame切換到另一個frame:
driver.switchTo().frame(“mainFrame”);
切換到某個window:
driver.switchTo().window(“windowName”);
導航
導航 (Navigationand History)打開一個新的頁面:
driver.navigate().to(“http://www.baidu.com”);
通過歷史導航返回原頁面:
driver.navigate().forward();
driver.navigate().back();