介紹一個Robots.txt文件在線驗證工具

http://tool.motoricerca.info/robots-checker.phtml

此robots.txt分析是由意大利非營利性的意大利的網站優化和搜索引擎公司  Motoricerca 的，

不過要注意，使用這個工具，要把robots.txt裏的漢字註釋清除，它不能識別漢字；如果有漢字就不認爲是一個有效的robots.txt文件。


如果Robots文件驗證通過的話，一般會顯示以下結果：

 Analyzing file http://www.XXX.com/robots.txt
No errors found in this robots.txt file
Hide empty and comments lines:  

The following block of code DISALLOWS the crawling of the following files and directories: /inc/ to all spiders/robots.  
Line 1 # robots.txt for www.XXX.com
Line 2 User-agent: * 
Line 3 Disallow: /inc/ 

 

     另外，Google網站管理員工具也可以在線驗證robots文件，Google是支持中文註釋的。
     登錄到  Google 網站管理員工具後， 在"控制檯"中，點擊所需網站的網址，點擊工具，然後點擊分析 robots.txt就行。