Search engine discovery/Reconnaissance (OWASP-IG-002) 搜索引擎發現/偵查
本節介紹瞭如何獲得谷歌的索引並查看谷歌緩存中是否已經移除相關的網頁內容。
一旦 Googlebot 已完成抓取，搜索引擎會以網頁上的 tag 和相關屬性作爲索引，如 < 標題 > ，以返回相關的搜索結果。
如果 robots.txt 文件沒有在 web 網站的生命週期內更新，那麼可能 google 返回的結果不會包含其網頁內容。
Therefore, it must be removed from the Google Cache.
因此， googl 緩存中應該移除該網頁內容。
如何測試呢？
google也提供了Google SOAP Search API，可以調用以實現google搜索、google快照和google拼寫。
OWASP也有一個項目和這個相關。 http://www.owasp.org/index.php/Category:OWASP_Google_Hacking_Project
相關鏈接：
[1] "Google 101: How Google crawls, indexes, and serves the web" -
http://www.google.com/support/webmasters/bin/answer.py?answer=70897
[2] "Advanced Google Search Operators" -
http://www.google.com/help/operators.html
[3] "Google SOAP Search API" -
http://code.google.com/apis/soapsearch/reference.html#1_2
[4] "Preventing content from appearing in Google search results" -
http://www.google.com/support/webmasters/bin/topic.py?topic=8459
使用 site 高級搜索選項，可以將搜索結果限制在特定的範圍內。
如圖所示：
點cached，或者查看緩存，可以看到這個站點在google上的緩存內容
